[논문 리뷰] On the Efficiency of the Sinkhorn and Greenkhorn Algorithms and Their Acceleration for Optimal Transport

Tianyi Lin, Nhat Ho외 1명|arXiv (Cornell University)|2019. 06. 01.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 14

한 줄 요약

이 논문은 정규화된 최적 운반 알고리즘에 대한 향상된 복잡도 상한을 제시하며, Greenkhorn 알고리즘이 $\times\sim\mathcal{O}(n^2\varepsilon^{-2})$의 복잡도를 달성함으로써 기존 Sinkhorn 알고리즘의 최고 수준의 복잡도 상한과 일치하고, 그 실험적 우월성을 설명한다. 또한 가속화된 변형을 도입하여, $\times\sim\mathcal{O}(n^{7/3}\varepsilon^{-1})$의 복잡도를 가지는 적응형 원본-쌍대 미러 강하 알고리즘을 포함하며, $\varepsilon$-의존성 측면에서 이전 방법들을 능가한다.

ABSTRACT

We present new complexity results for several algorithms that approximately solve the regularized optimal transport (OT) problem between two discrete probability measures with at most $n$ atoms. First, we show that a greedy variant of the classical Sinkhorn algorithm, known as the extit{Greenkhorn} algorithm, achieves the complexity bound of $\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$, which improves the best known bound $\widetilde{\mathcal{O}}(n^2\varepsilon^{-3})$. Notably, this matches the best known complexity bound of the Sinkhorn algorithm and explains the superior performance of the Greenkhorn algorithm in practice. Furthermore, we generalize an adaptive primal-dual accelerated gradient descent (APDAGD) algorithm with mirror mapping $\phi$ and show that the resulting extit{adaptive primal-dual accelerated mirror descent} (APDAMD) algorithm achieves the complexity bound of $\widetilde{\mathcal{O}}(n^2\sqrt{\delta}\varepsilon^{-1})$ where $\delta>0$ depends on $\phi$. We point out that an existing complexity bound for the APDAGD algorithm is not valid in general using a simple counterexample and then establish the complexity bound of $\widetilde{\mathcal{O}}(n^{5/2}\varepsilon^{-1})$ by exploiting the connection between the APDAMD and APDAGD algorithms. Moreover, we introduce accelerated Sinkhorn and Greenkhorn algorithms that achieve the complexity bound of $\widetilde{\mathcal{O}}(n^{7/3}\varepsilon^{-1})$, which improves on the complexity bounds $\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$ of Sinkhorn and Greenkhorn algorithms in terms of $\varepsilon$. Experimental results on synthetic and real datasets demonstrate the favorable performance of new algorithms in practice.

연구 동기 및 목표

• Greenkhorn 알고리즘에 대한 더 날카운 복잡도 상한을 확립하여, 최적 운반 문제에서 표준 Sinkhorn 알고리즘보다 실험적으로 뛰어난 성능을 보이는 이유를 규명한다.
• 거울 매핑을 사용하는 기존의 적응형 원본-쌍대 가속 강하 경사 하강법(APDAGD) 알고리즘을 수정하고 일반화한다.
• Sinkhorn 및 Greenkhorn의 가속화된 변형을 개발하고 분석하여 정확도 파rameter $\varepsilon$에 따른 수렴 속도를 향상시킨다.
• APDAMD 알고리즘에 대한 엄밀한 복잡도 분석을 제공하고, 기존 APDAGD에 대한 복잡도 상한의 타당성을 반례를 통해 명확히 한다.
• 합성 및 실제 데이터 세트에 대한 실험을 통해 이론적 개선 사항을 검증한다.

제안 방법

• 각 반복에서 가장 불균형한 이중 변수만 업데이트하는 Sinkhorn의 탐욕적 변형인 Greenkhorn을 제안하여 계산 낭비를 줄인다.
• 일반적인 거울 매핑 $\phi$를 사용하는 적응형 원본-쌍대 가속 미러 강하(APDAMD) 알고리즘을 도입하여, 민첩하고 적응 가능한 업데이트를 가능하게 한다.
• 기존에 주장된 APDAGD 알고리즘의 복잡도 상한을 반례를 제시하여 수정하며, 일반적인 설정에서 그 타당성이 부족함을 입증한다.
• APDAMD가 APDAGD와 연결되어 있음을 활용하여, APDAMD에 대해 $\times\sim\mathcal{O}(n^{5/2}\varepsilon^{-1})$의 새로운 복잡도 상한을 확립한다.
• Nesterov 스타일의 가속화를 사용하여 Sinkhorn 및 Greenkhorn 알고리즘의 가속화된 버전을 설계하여, $\times\sim\mathcal{O}(n^{7/3}\varepsilon^{-1})$의 복잡도를 달성한다.
• 정규화된 최적 운반 설정 하에서 볼록 최적화와 이중성에 기반한 이론적 분석을 통해 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 Greenkhorn 알고리즘의 진정한 복잡도는 무엇이며, 표준 Sinkhorn 알고리즘과 비교해 복잡도가 동일하거나 초월하는가?
• RQ2 APDAGD 알고리즘이 주장한 복잡도 상한은 일반적으로 적용 가능한가, 아니면 특정 조건에서 실패하는가?
• RQ3 어떻게 하면 미러 강하를 수정하여 정규화된 최적 운반 문제에서 가속화된 수렴을 달성할 수 있는가?
• RQ4 가속화의 이론적 이점은 Greenkhorn 프레임워크로 확장될 수 있는가, 그리고 그 결과로 어떤 복잡도 상한이 도출되는가?
• RQ5 제안된 가속화된 알고리즘이 실질적으로 기존 방법보다 뛰어나게 작동하는가, 특히 $\varepsilon$-의존성 측면에서?

주요 결과

• Greenkhorn 알고리즘은 $\times\sim\mathcal{O}(n^2\varepsilon^{-2})$의 복잡도 상한을 달성하며, 이는 표준 Sinkhorn 알고리즘의 최고 수준의 복잡도 상한과 일치한다.
• APDAMD 알고리즘은 $\times\sim\mathcal{O}(n^2\sqrt{\delta}\varepsilon^{-1})$의 복잡도 상한을 달성하며, 여기서 $\delta>0$는 거울 매핑 $\phi$에 따라 달라진다. 이는 이전 결과를 일반화한 것이다.
• 이전에 주장된 APDAGD 알고리즘의 복잡도 상한을 무효화하기 위해 반례를 제시하여, 일반적인 설정에서는 성립하지 않음을 입증한다.
• APDAMD가 APDAGD와 연결되어 있음을 활용하여, APDAMD 프레임워크에 대해 $\times\sim\mathcal{O}(n^{5/2}\varepsilon^{-1})$의 새로운 복잡도 상한을 확립한다.
• 제안된 가속화된 Sinkhorn 및 Greenkhorn 알고리즘은 $\times\sim\mathcal{O}(n^{7/3}\varepsilon^{-1})$의 복잡도를 달성하며, $\varepsilon$에 대한 의존성 측면에서 표준 변형의 $\times\sim\mathcal{O}(n^2\varepsilon^{-2})$ 상한보다 향상된다.
• 합성 및 실제 데이터 세트에 대한 실험 결과는 새로운 가속화된 알고리즘이 실제로 더 빠른 수렴 속도와 향상된 성능을 달성함을 확인한다.