[논문 리뷰] On the Efficiency of Sinkhorn and Greenkhorn and Their Acceleration for Optimal Transport

Tianyi Lin, Nhat Ho외 1명|arXiv (Cornell University)|2019. 06. 01.

Stochastic Gradient Optimization Techniques참고 문헌 57인용 수 5

한 줄 요약

이 논문은 이산 확률 측도 간 최적 운반 알고리즘의 복잡도 한계를 향상시켜, Greenkhorn이 $×(n^2\varepsilon^{-2})$ 복잡도를 달성함으로써 Sinkhorn과 동일한 복잡도를 확보함을 보여주며, $×(n^{7/3}\varepsilon^{-4/3})$ 복잡도를 가진 결정론적 가속된 Sinkhorn 알고리즘을 도입함으로써 $1/\varepsilon$ 및 $n$ 의존성에서 이전 방법들을 능가함. 또한 APDAGD의 복잡도 한계를 수정하고 보완하며, 미러 매핑을 활용한 새로운 가속된 변형을 제안함.

ABSTRACT

We present several new complexity results for the algorithms that approximately solve the optimal transport (OT) problem between two discrete probability measures with at most $n$ atoms. First, we improve the complexity bound of a greedy variant of the Sinkhorn algorithm, known as extit{Greenkhorn} algorithm, from $\widetilde{O}(n^2\varepsilon^{-3})$ to $\widetilde{O}(n^2\varepsilon^{-2})$. Notably, this matches the best known complexity bound of the Sinkhorn algorithm and sheds the light to superior practical performance of the Greenkhorn algorithm. Second, we generalize an adaptive primal-dual accelerated gradient descent (APDAGD) algorithm~\citep{Dvurechensky-2018-Computational} with mirror mapping $\phi$ and prove that the resulting APDAMD algorithm achieves the complexity bound of $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$ where $\delta>0$ refers to the regularity of $\phi$. We demonstrate that the complexity bound of $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ is invalid for the APDAGD algorithm and establish a new complexity bound of $\widetilde{O}(n^{5/2}\varepsilon^{-1})$. Moreover, we propose a extit{deterministic} accelerated Sinkhorn algorithm and prove that it achieves the complexity bound of $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$ by incorporating an estimate sequence. Therefore, the accelerated Sinkhorn algorithm outperforms the Sinkhorn and Greenkhorn algorithms in terms of $1/\varepsilon$ and the APDAGD and accelerated alternating minimization~\citep{Guminov-2021-Combination} algorithms in terms of $n$. Finally, we conduct experiments on synthetic data and real images with the proposed algorithms in the paper and demonstrate their efficiency via numerical results.

연구 동기 및 목표

• 이산 확률 측도 간 최적 운반에 대한 Greenkhorn 알고리즘의 이론적 복잡도 한계를 향상시키는 것.
• 임의의 미러 매핑 $\phi$를 갖는 적응형 원형-이중 가속 경사하강법(APDAGD)의 복잡도 분석을 일반화하고 정교화하는 것.
• 일반적인 미러 매핑 $\phi$를 갖는 APDAGD에 대해 더 엄밀하고 올바른 복잡도 한계를 확립하여 이전에 주장된 $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ 의 복잡도 한계를 수정하는 것.
• 추정 수열을 통합하여 결정론적 가속된 Sinkhorn 알고리즘을 설계하고, $n$ 과 $\varepsilon$ 에서 더 나은 수렴 속도를 확보하는 것.
• 합성 데이터 및 실재 이미지에서 이론적 개선 사항을 실험적으로 검증하는 것.

제안 방법

• 미러 매핑 $\phi$를 갖는 일반화된 가속된 원형-이중 알고리즘(APDAMD)을 제안하고, $\delta$ 가 $\phi$ 의 규칙성 정도를 측정하는 데 쓰이며, 복잡도 한계 $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$ 를 증명함.
• APDAGD의 복잡도 한계를 재검토하고 수정하여, 이전에 주장된 $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ 가 잘못되었음을 입증하고, 올바른 복잡도 한계로 $\widetilde{O}(n^{5/2}\varepsilon^{-1})$ 를 확립함.
• Sinkhorn 프레임워크에 추정 수열을 통합하여 결정론적 가속된 Sinkhorn 알고리즘을 제안함으로써 수렴 속도를 향상시킴.
• 정교한 분석을 통해 Greenkhorn 알고리즘의 복잡도를 $\widetilde{O}(n^2\varepsilon^{-3})$ 에서 $\widetilde{O}(n^2\varepsilon^{-2})$ 로 감소시켜 표준 Sinkhorn 알고리즘의 이론적 복잡도 한계와 일치시킴.
• APDAMD 프레임워크 내에서 미러 강하와 적응형 스텝 크기를 활용하여, 미러 매핑 $\phi$ 의 일반적인 규칙성 조건 하에서도 수렴을 보장함.
• 합성 분포와 실재 이미지 데이터셋에서의 수치 실험을 통해 이론적 주장의 타당성을 검증하고, 제안된 모든 알고리즘 간 성능을 비교함.

실험 결과

연구 질문

• RQ1 Greenkhorn 알고리즘의 복잡도 한계를 표준 Sinkhorn 알고리즘과 동일한 수준으로 향상시킬 수 있는가?
• RQ2 일반적인 미러 매핑 $\phi$ 를 갖는 APDAGD 알고리즘에 대해 올바르고 가장 날카로운 복잡도 한계는 무엇인가?
• RQ3 $n$ 과 $\varepsilon$ 에서 더 나은 수렴 성능을 보장하는 결정론적 가속된 Sinkhorn 알고리즘을 설계할 수 있는가?
• RQ4 미러 매핑 $\phi$ 의 규칙성 파라미터 $\delta$ 는 가속된 원형-이중 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 향상된 이론적 복잡도 한계는 합성 및 실세계 최적 운반 문제에서 실질적인 성능 향상으로 이어지는가?

주요 결과

• Greenkhorn 알고리즘은 $\widetilde{O}(n^2\varepsilon^{-2})$ 복잡도 한계를 확보하여 표준 Sinkhorn 알고리즘의 최고 수준의 복잡도 한계와 일치함.
• 이전에 주장된 APDAGD의 복잡도 한계 $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ 는 잘못되었으며, 올바른 복잡도 한계는 $\widetilde{O}(n^{5/2}\varepsilon^{-1})$ 로 확인됨.
• 제안된 APDAMD 알고리즘은 $\delta$ 가 미러 매핑 $\phi$ 의 규칙성을 측정하는 데 쓰이며, 복잡도 $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$ 를 달성함.
• 결정론적 가속된 Sinkhorn 알고리즘은 $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$ 복잡도를 확보하여 $1/\varepsilon$ 의존성에서 Sinkhorn과 Greenkhorn 모두를 능가함.
• 가속된 Sinkhorn 알고리즘은 $n$ 의존성에서 APDAGD 및 가속된 교차 최소화보다 뛰어나 더 나은 확장성 확보함.
• 합성 데이터 및 실재 이미지에서의 수치 실험을 통해 제안된 알고리즘이 기존 방법들보다 효율성과 실용적 우수성을 입증함.