[논문 리뷰] On the Efficiency of Entropic Regularized Algorithms for Optimal Transport

Tianyi Lin, Nhat Ho외 1명|arXiv (Cornell University)|2019. 06. 01.

RNA Research and Splicing인용 수 5

한 줄 요약

이 논문은 엔트로픽 정규화된 최적 운반 알고리즘의 복잡도 한계를 향상시키며, APDAMD—사전 지정된 미러 매핑 $\phi$를 가진 일반화된 적응형 원-이중 가속 방법—을 도입하여 $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$의 복잡도를 달성하고, 결정론적 가속 Sinkhorn 변형을 통해 $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$의 복잡도를 확보한다. 이는 이전 연구에서 잘못된 복잡도 한계를 수정하고, Greenkhorn, APDAMD, 그리고 가속 Sinkhorn의 뛰어난 경험적 성능을 확인한다.

ABSTRACT

We present several new complexity results for the entropic regularized algorithms that approximately solve the optimal transport (OT) problem between two discrete probability measures with at most $n$ atoms. First, we improve the complexity bound of a greedy variant of Sinkhorn, known as extit{Greenkhorn}, from $\widetilde{O}(n^2\varepsilon^{-3})$ to $\widetilde{O}(n^2\varepsilon^{-2})$. Notably, our result can match the best known complexity bound of Sinkhorn and help clarify why Greenkhorn significantly outperforms Sinkhorn in practice in terms of row/column updates as observed by~\citet{Altschuler-2017-Near}. Second, we propose a new algorithm, which we refer to as extit{APDAMD} and which generalizes an adaptive primal-dual accelerated gradient descent (APDAGD) algorithm~\citep{Dvurechensky-2018-Computational} with a prespecified mirror mapping $ϕ$. We prove that APDAMD achieves the complexity bound of $\widetilde{O}(n^2\sqrtδ\varepsilon^{-1})$ in which $δ>0$ stands for the regularity of $ϕ$. In addition, we show by a counterexample that the complexity bound of $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ proved for APDAGD before is invalid and give a refined complexity bound of $\widetilde{O}(n^{5/2}\varepsilon^{-1})$. Further, we develop a extit{deterministic} accelerated variant of Sinkhorn via appeal to estimated sequence and prove the complexity bound of $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$. As such, we see that accelerated variant of Sinkhorn outperforms Sinkhorn and Greenkhorn in terms of $1/\varepsilon$ and APDAGD and accelerated alternating minimization (AAM)~\citep{Guminov-2021-Combination} in terms of $n$. Finally, we conduct the experiments on synthetic and real data and the numerical results show the efficiency of Greenkhorn, APDAMD and accelerated Sinkhorn in practice.

연구 동기 및 목표

• Greenkhorn의 이론적 복잡도 한계를 $\widetilde{O}(n^2\varepsilon^{-3})$에서 $\widetilde{O}(n^2\varepsilon^{-2})$로 향상시키는 것.
• 사전 지정된 미러 매핑 $\phi$를 가진 새로운 알고리즘 APDAMD를 제안하여 APDAGD를 일반화하는 것.
• 이전에 주장된 APDAGD의 복잡도 한계 $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$를 수정하고, 보다 정교한 한계 $\widetilde{O}(n^{5/2}\varepsilon^{-1})$를 확립하는 것.
• 추정된 수열 기법을 사용하여 결정론적 가속 Sinkhorn 변형을 개발하여 $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$의 복잡도를 달성하는 것.
• 합성 데이터 및 MNIST를 포함한 실제 데이터에서 Greenkhorn, APDAMD, 그리고 가속 Sinkhorn의 효율성을 실험을 통해 검증하는 것.

제안 방법

• 저자들은 사전 지정된 미러 매핑 $\phi$를 가진 APDAGD 알고리즘을 일반화하여 APDAMD를 도입함으로써 더 유연하고 정규화된 최적화 프레임워크를 가능하게 한다.
• APDAMD에 대해 $\delta > 0$가 $\phi$의 정규성 정도를 측정하는 바, 복잡도 한계 $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$를 증명하며 이는 이전 결과를 향상시킨다.
• 이전 복잡도 한계 $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$가 잘못되었음을 보여주기 위해 반례를 구성함으로써 APDAGD에 대한 보다 정교한 한계 $\widetilde{O}(n^{5/2}\varepsilon^{-1})$를 도출한다.
• 추정된 수열 기법을 활용하여 결정론적 가속 Sinkhorn 변형을 개발하여 $1/\varepsilon$ 기반으로 향상된 수렴 성능를 달성한다.
• 이론적 분석은 원-이중 방법과 엔트로피 정규화를 결합하며, 미러 강하와 적응형 스텝 사이즈의 성질을 활용한다.
• 합성 데이터 및 MNIST 이미지에서 실험을 수행하여 행/열 업데이트 횟수, 경쟁 비율, 다양한 정규화 파rameter에 따른 런타임을 기준으로 성능를 측정한다.

실험 결과

연구 질문

• RQ1 Greenkhorn의 복잡도 한계를 Sinkhorn 수준으로 향상시킬 수 있는가? 그리고 이는 행/열 업데이트에서의 실용적 우수성과 어떻게 관련이 있는가?
• RQ2 APDAGD의 정확한 복잡도 한계는 무엇이며, 일반 조건 하에서 성립하는가, 아니면 보완이 필요한가?
• RQ3 추정된 수열 기반으로 결정론적 가속 Sinkhorn 변형을 구성할 수 있는가? 그리고 어떤 복잡도를 달성하는가?
• RQ4 APDAMD는 APDAGD 및 기타 방법과 비교해 복잡도와 수렴 속도 면에서 얼마나 우수한가?
• RQ5 제안된 알고리즘—Greenkhorn, APDAMD, 그리고 가속 Sinkhorn—은 합성 데이터와 실제 세계 데이터에서 일관된 경험적 우수성을 보여주는가?

주요 결과

• Greenkhorn의 복잡도 한계는 $\widetilde{O}(n^2\varepsilon^{-3})$에서 $\widetilde{O}(n^2\varepsilon^{-2})$로 향상되었으며, 이는 Sinkhorn의 최고 수준의 한계와 일치한다.
• 이전에 주장된 APDAGD의 복잡도 한계 $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$는 잘못되었으며, 보다 정교한 한계 $\widetilde{O}(n^{5/2}\varepsilon^{-1})$가 확립되었다.
• APDAMD는 $\delta > 0$가 미러 매핑 $\phi$의 정규성 정도를 측정하는 바, 복잡도 $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$를 달성하며, APDAGD의 일반화이자 더 강력한 이론적 보장을 제공한다.
• 추정된 수열 기법을 통해 결정론적 가속 Sinkhorn 변형이 개발되었으며, 복잡도 $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$를 달성하여, $n$과 $1/\varepsilon$ 기반으로 Sinkhorn, Greenkhorn, APDAGD, AAM을 모두 초월한다.
• MNIST 및 합성 데이터에서의 실험 결과, Greenkhorn, APDAMD, 그리고 가속 Sinkhorn는 실용적으로 효율적이며, APDAMD는 APDAGD와 GCPB보다 더 뛰어난 강건성을 보였다.
• 수치 결과는 가속 Sinkhorn가 $\varepsilon$ 기반으로 수렴 속도 면에서 Sinkhorn과 Greenkhorn를 항상 능가하며, $n$ 기반으로는 APDAGD와 AAM을 능가함을 보여준다.