[논문 리뷰] On Efficient Optimal Transport: An Analysis of Greedy and Accelerated Mirror Descent Algorithms

Tianyi Lin, Nhat Ho외 1명|arXiv (Cornell University)|2019. 01. 19.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 22

한 줄 요약

이 논문은 정규화된 최적 운반 문제를 위한 Greenkhorn 알고리즘의 이론적 복잡도를 이전의 $\widetilde{\mathcal{O}}(n^2\varepsilon^{-3})$ 에서 $\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$ 로 향상시켰으며, 이는 Sinkhorn 알고리즘의 최고 알려진 복잡도 bound와 일치한다. 또한, Bregman 발산의 강凸성 모듈러스의 역수인 $\delta$ 를 기반으로 한 적응형 원형-쌍대 가속 거울 하강(APDAMD) 알고리즘을 도입하여 복잡도 $\widetilde{\mathcal{O}}(n^2\sqrt{\delta}\varepsilon^{-1})$ 를 달성하였으며, 이는 경험적으로 뛰어난 성능과 강인성을 보였다.

ABSTRACT

We provide theoretical analyses for two algorithms that solve the regularized optimal transport (OT) problem between two discrete probability measures with at most $n$ atoms. We show that a greedy variant of the classical Sinkhorn algorithm, known as the \emph{Greenkhorn algorithm}, can be improved to $\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$, improving on the best known complexity bound of $\widetilde{\mathcal{O}}(n^2\varepsilon^{-3})$. Notably, this matches the best known complexity bound for the Sinkhorn algorithm and helps explain why the Greenkhorn algorithm can outperform the Sinkhorn algorithm in practice. Our proof technique, which is based on a primal-dual formulation and a novel upper bound for the dual solution, also leads to a new class of algorithms that we refer to as \emph{adaptive primal-dual accelerated mirror descent} (APDAMD) algorithms. We prove that the complexity of these algorithms is $\widetilde{\mathcal{O}}(n^2\sqrtδ\varepsilon^{-1})$, where $δ> 0$ refers to the inverse of the strong convexity module of Bregman divergence with respect to $\|\cdot\|_\infty$. This implies that the APDAMD algorithm is faster than the Sinkhorn and Greenkhorn algorithms in terms of $\varepsilon$. Experimental results on synthetic and real datasets demonstrate the favorable performance of the Greenkhorn and APDAMD algorithms in practice.

연구 동기 및 목표

• 정규화된 최적 운반 문제를 위한 Sinkhorn 알고리즘의 탐욕적 변종인 Greenkhorn 알고리즘의 더 날카운 이론적 복잡도 분석을 제공하는 것.
• 개선된 수렴 속도를 달성할 수 있는 새로운 알고리즘 클래스—적응형 원형-쌍대 가속 거울 하강(APDAMD)—를 개발하는 것.
• 특히 APDAGD에 대해 이전에 보고된 복잡도 bound의 모순을 해결하는 것.
• 이론적 분석과 실험적 검증을 통해 Greenkhorn과 APDAMD가 Sinkhorn과 APDAGD를 초월하는 경험적 슈퍼리오리티를 설명하는 것.

제안 방법

• 분석은 원형-쌍대 공식화를 활용하고, Greenkhorn의 수렴을 분석하기 위해 $\|\cdot\|_\infty$ 노름에 기반한 이중 최적 해의 새로운 상한을 도입한다.
• APDAMD 알고리즘은 Bregman 발산을 사용하여 정규화된 OT 문제에 거울 하강를 적응적으로 적용함으로써 유도되며, 이때 강凸성 모듈러스의 역수인 $\delta^{-1}$ 이 강凸성 매개변수로 사용된다. 여기서 $\delta$ 는 강凸성 모듈러스의 역수이다.
• APDAMD 알고리즘의 안정성을 향상시키기 위해 $\|\cdot\|_\infty$ 노름에 기반한 선형 탐색 전략을 사용한다.
• 이론적 복잡도 bound는 주로 볼록 최적화 기법을 활용하며, 이중 문제의 구조와 Bregman 발산의 성질을 활용한다.
• 이전에 보고된 APDAGD 알고리즘의 복잡도 bound에 오류가 있음을 밝혀내고, 일반적으로 성립하지 않는다는 것을 입증하며, 수정된 bound $\widetilde{\mathcal{O}}(n^{5/2}\varepsilon^{-1})$ 를 유도한다.
• 합성 및 MNIST 데이터셋에서 실험적으로 검증을 수행하여, Greenkhorn, APDAMD, APDAGD, GCPB 알고리즘 간의 반복 횟수, 런타임, 강인성 등을 비교하였다.

실험 결과

연구 질문

• RQ1 이전에 알려진 $\widetilde{\mathcal{O}}(n^2\varepsilon^{-3})$ bound를 초월하여 Greenkhorn 알고리즘의 이론적 복잡도를 향상시킬 수 있는가?
• RQ2 정규화된 최적 운반 문제에 대해 원형-쌍대 가속 거울 하강 방법이 달성할 수 있는 최적의 수렴 속도는 무엇인가?
• RQ3 왜 실무에서 Greenkhorn 알고리즘이 Sinkhorn 알고리즘보다 뛰어나게 성능을 내는가? 이는 이론적으로 설명될 수 있는가?
• RQ4 이전에 보고된 APDAGD 알고리즘의 복잡도 bound는 타당한가? 만약 그렇지 않다면 올바른 bound는 무엇인가?
• RQ5 Bregman 발산의 선택과 강凸성 매개변수 $\delta$ 는 APDAMD 알고리즘의 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• Greenkhorn 알고리즘은 $\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$ 의 복잡도 bound를 달성하였으며, 이는 Sinkhorn 알고리즘의 최고 알려진 bound와 일치한다. 이는 그 경험적 성능에 대한 이론적 이해의 격차를 해소한다.
• APDAMD 알고리즘은 $\widetilde{\mathcal{O}}(n^2\sqrt{\delta}\varepsilon^{-1})$ 의 복잡도 bound를 달성하였으며, $\delta$ 가 작을 경우 Sinkhorn과 Greenkhorn보다 $\varepsilon$ 에 대해 더 빠른 수렴 속도를 보였다.
• 이전에 보고된 APDAGD 알고리즘의 복잡도 bound에 오류가 있음을 밝혀내고, 수정된 bound $\widetilde{\mathcal{O}}(n^{5/2}\varepsilon^{-1})$ 를 유도하였다.
• 합성 및 MNIST 데이터셋에서의 실험 결과, APDAMD 알고리즘이 APDAGD와 GCPB보다 더 빠르고 강인한 것으로 확인되었으며, 특히 수렴 안정성 측면에서 뛰어났다.
• Bregman 발산으로 제곱형을 사용하고 $\delta = n$ 으로 설정한 APDAMD 알고리즘은 APDAGD와 동일한 복잡도를 달성하지만, $\|\cdot\|_\infty$ 기반 선형 탐색 덕분에 더 뛰어난 강인성을 보였다.
• 이론적 분석을 통해 개선된 Greenkhorn 복잡도의 원인이 새로운 이중 해 상한에 기인하며, 이는 탐욕적인 단일 행/열 업데이트 전략에도 불구하고 매 반복 단계의 진전을 더 엄밀하게 측정할 수 있도록 해준다는 것을 확인하였다.