[논문 리뷰] Computational Optimal Transport: Complexity by Accelerated Gradient Descent Is Better Than by Sinkhorn's Algorithm

Pavel Dvurechensky, Alexander Gasnikov외 1명|arXiv (Cornell University)|2018. 02. 12.

Stochastic Gradient Optimization Techniques참고 문헌 2인용 수 68

한 줄 요약

본 논문은 이산 분포 간 OT 거리 근사를 위한 두 가지 알고리즘을 분석한다: 엔트로피 정규화를 사용하는 Sinkhorn과 새로운 Adaptive Primal-Dual Accelerated Gradient Descent(APDAGD); APDAGD는 ε-의존성을 개선하고 엔트로피 정규화 외의 일반 정규화도 지원한다.

ABSTRACT

We analyze two algorithms for approximating the general optimal transport (OT) distance between two discrete distributions of size $n$, up to accuracy $\varepsilon$. For the first algorithm, which is based on the celebrated Sinkhorn's algorithm, we prove the complexity bound $\widetilde{O}\left({n^2/\varepsilon^2} ight)$ arithmetic operations. For the second one, which is based on our novel Adaptive Primal-Dual Accelerated Gradient Descent (APDAGD) algorithm, we prove the complexity bound $\widetilde{O}\left(\min\left\{n^{9/4}/\varepsilon, n^{2}/\varepsilon^2 ight\} ight)$ arithmetic operations. Both bounds have better dependence on $\varepsilon$ than the state-of-the-art result given by $\widetilde{O}\left({n^2/\varepsilon^3} ight)$. Our second algorithm not only has better dependence on $\varepsilon$ in the complexity bound, but also is not specific to entropic regularization and can solve the OT problem with different regularizers.

연구 동기 및 목표

• equal-sized 이산 분포 간 OT 거리의 효율적 계산 필요성 동기 부여.
• entropy-regularized OT를 Sinkhorn 알고리즘으로 사용한 복잡도 경계 개선 제시.
• 일반 정규화에 대해 유연하고 가속화된 방법으로 APDAGD 도입 및 선형 탐색 포함.
• APDAGD의 이론적 보장 및 ε-의존적 복잡도 도출.
• 이미지와 유사한 데이터에 대한 수치 실험을 통해 실용적 성능 시연.

제안 방법

• Sinkhorn 알고리즘을 정규화된 OT의 이중 문제를 해결하는 이중 업데이트로 재고하고 개선된 반복 bound를 도출한다.
• 일반 강하게 볼록한 정규화기에 대해 선형 탐색과 primal-dual 업데이트를 갖춘 Adaptive Primal-Dual Accelerated Gradient Descent(APDAGD)를 제공한다.
• 엔트로피 정규화 OT에 APDAGD를 적용하고 수렴성과 복잡도 보장을 도출한다.
• OT 거리 근사를 위한 U(r,c) 교통 다면체로의 투영과 함께 APDAGD를 결합한 알고리즘 4를 개발한다.
• 엔트로피 정규화가 있을 때 ε-근사와 바람직한 ε 및 ∥C∥∞ 의존성을 달성함을 보인다.
• 커널이 비싸게 계산되는 OT 계산에 대한 병렬화 가능성과 실용적 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 엔트로피-정규화 OT를 Sinkhorn 알고리즘을 사용함으로써 기존 경계보다 더 효율적으로 근사할 수 있는가?
• RQ2 적응적 primal-dual 가속 경사 방법이 일반 정규화기에 대해 더 빠른 ε-정확 OT 근사를 제공하는가?
• RQ3 제안된 APDAGD 방법의 ε-의존성과 노름 상수 의존성은 어떠한가?
• RQ4 엔트로피를 넘는 비엔트로피 정규화에서도 수렴 보장을 유지하며 프레임워크가 작동하는가?
• RQ5 다양한 n 및 정규화 조건에서 Sinkhorn과 APDAGD의 실질적인 성능 차이는 어떠한가?

주요 결과

• Sinkhorn 알고리즘은 OT를 ε 이내로 근사하는 데 O(n^2 ∥C∥^2_∞ ln n / ε^2) 산술 연산으로 근사 가능하다.
• APDAGD는 ε-근사를 O(min(n^(9/4)/(√ε) ∥C∥∞ ln n / ε, n^2 ∥C∥∞ ln n / ε^2)) 산술 연산으로 달성한다.
• APDAGD 방법은 엔트로피 정규화에 국한되지 않고 일반 강하게 볼록한 정규화에서도 작동한다.
• APDAGD에는 이중성 간극 및 부정합 제약에 따른 온라인 중단 기준과 선형 탐색이 포함된다.
• 프레임워크는 병렬화 가능하며 OT 커널 exp(−C/γ) 가 효율적으로 적용될 때 실용적이다.
• MNIST 유래 데이터에 대한 실험은 Sinkhorn과 APDAGD 간의 실용적 성능 차이를 보여준다.