[논문 리뷰] Towards Optimal Running Times for Optimal Transport

José Blanchet, Arun Jambulapati외 2명|arXiv (Cornell University)|2018. 10. 17.

Complexity and Algorithms in Graphs인용 수 4

한 줄 요약

이 논문은 이산 확률 분포 간 최적 운반 거리의 근사값을 $Ϫ(n^2 \|C\|_{\infty}/\epsilon)$ 시간에 구하는 두 가지 새로운 알고리즘을 제시한다. 이는 이전의 상한보다 개선된 결과이다. 최적 운반 문제를 팩킹 선형계획문제와 행렬 균형 문제로 환원함으로써, 빠르고 거의 선형 시간 복잡도를 달성하였으며, 향후 개선이 가능하다면 이분 매칭 알고리즘의 복잡도에 혁신적인 진전이 있을 것임을 보여준다.

ABSTRACT

In this work, we provide faster algorithms for approximating the optimal transport distance, e.g. earth mover's distance, between two discrete probability distributions $μ, ν\in Δ^n$. Given a cost function $C : [n] imes [n] o \mathbb{R}_{\geq 0}$ where $C(i,j) \leq 1$ quantifies the penalty of transporting a unit of mass from $i$ to $j$, we show how to compute a coupling $X$ between $r$ and $c$ in time $\widetilde{O}\left(n^2 /ε ight)$ whose expected transportation cost is within an additive $ε$ of optimal. This improves upon the previously best known running time for this problem of $\widetilde{O}\left( ext{min}\left\{ n^{9/4}/ε, n^2/ε^2 ight\} ight)$. We achieve our results by providing reductions from optimal transport to canonical optimization problems for which recent algorithmic efforts have provided nearly-linear time algorithms. Leveraging nearly linear time algorithms for solving packing linear programs and for solving the matrix balancing problem, we obtain two separate proofs of our stated running time. Further, one of our algorithms is easily parallelized and can be implemented with depth $\widetilde{O}(1/ε)$. Moreover, we show that further algorithmic improvements to our result would be surprising in the sense that any improvement would yield an $o(n^{2.5})$ algorithm for extit{maximum cardinality bipartite matching}, for which currently the only known algorithms for achieving such a result are based on fast-matrix multiplication.

연구 동기 및 목표

• 기계학습 및 통계 응용 분야에서 최적 운반 거리를 계산하기 위한 더 빠른 알고리즘의 필요성을 해결한다.
• 이산 최적 운반 문제에 대한 $ε$-최적 해를 계산하는 데 있어 기존에 알려진 가장 빠른 실행 시간을 향상시킨다.
• 이론적 컴퓨터 과학 분야의 표준 문제에 대해 거의 선형 시간 알고리즘을 활용하는 환원 기반 접근법을 제공한다.
• 제안된 실행 시간을 더 개선할 경우, 최대 카디널리티 이분 매칭 문제에 대해 $o(n^{2.5})$ 알고리즘이 유도됨을 보여준다.
• 직렬 및 병렬 알고리즘 개선을 동시에 달성하며, 병렬 버전의 깊이를 $\widetilde{O}(\|C\|_{\infty}/\epsilon)$로 확보한다.

제안 방법

• 최적 운반 문제를 팩킹 선형계획문제(PLP)로 환원하고, PLP에 대해 거의 선형 시간 해법을 사용하여 하나의 알고리즘을 도출한다.
• 최적 운반 문제를 행렬 균형 문제로 환원하고, 거의 선형 시간 행렬 균형 해법을 사용하여 두 번째 알고리즘을 도출한다.
• 최적 운반 문제를 상태 공간 기반 반복적 해법으로 풀 수 있는 형태로 변환하기 위해 블랙박스 환원 프레임워크를 사용한다.
• 분수 해를 유한 오차를 갖는 정수 매칭으로 변환하기 위해 랜덤화 및 결정적 반올림 기법을 적용한다.
• 팩킹 LP와 행렬 균형 문제를 해결하는 데 있어 알려진 거의 선형 시간 알고리즘을 활용하여 최종 복잡도 상한을 확보한다.
• 어떤 개선이 $\widetilde{O}(n^2 \|C\|_{\infty}/\epsilon)$ 실행 시간을 넘어서도 가능할 경우, 최대 카디널리티 이분 매칭 문제에 대해 $o(n^{2.5})$ 알고리즘이 유도됨을 보여주는 경직성 환원을 수행한다.

실험 결과

연구 질문

• RQ1 현재 알려진 최선의 $\widetilde{O}(\min\{n^{9/4}\sqrt{\|C\|_{\infty}}/\epsilon, n^2\|C\|_{\infty}/\epsilon^2\})$ 보다 더 빠른 $\epsilon$-최적 최적 운반 해를 계산하기 위한 실행 시간을 향상시킬 수 있는가?
• RQ2 팩킹 LP나 행렬 균형과 같은 표준 문제로 환원함으로써 최적 운반에 대해 거의 선형 시간 알고리즘을 달성할 수 있는가?
• RQ3 최적 운반 복잡도의 향상과 이분 매칭 알고리즘의 돌파구 간의 관계는 무엇인가?
• RQ4 제안된 알고리즘은 효율적으로 병렬화될 수 있으며, 달성 가능한 병렬 깊이는 얼마인가?
• RQ5 팩킹 LP와 행렬 균형 문제로의 환원은 복잡도와 실용성 측면에서 어떻게 비교되는가?

주요 결과

• 논문은 $\epsilon$-최적 운반 쌍을 계산하기 위해 $\widetilde{O}(n^2 \|C\|_{\infty}/\epsilon)$ 실행 시간을 달성하였으며, 이는 이전 최선의 $\widetilde{O}(\min\{n^{9/4}\sqrt{\|C\|_{\infty}}/\epsilon, n^2\|C\|_{\infty}/\epsilon^2\})$ 보다 향상된 결과이다.
• 제안된 알고리즘 중 하나는 병렬 깊이 $\widetilde{O}(\|C\|_{\infty}/\epsilon)$를 달성하였으며, 이는 이전 최선의 병렬 깊이보다 $1/\epsilon$ 배 빠른 개선이다.
• 저자는 $\widetilde{O}(n^2 \|C\|_{\infty}/\epsilon)$ 실행 시간의 향상이 최대 카디널리티 이분 매칭 문제에 대해 $o(n^{2.5})$ 알고리즘을 유도함을 보여주었다.
• 경직성 결과는 더 이상의 개선이 빠른 행렬 곱셈 없이도 알려진 알고리즘으로는 달성되지 않으며, 알고리즘 그래프 이론의 돌파구가 필요함을 암시한다.
• 팩킹 LP와 행렬 균형 문제로의 환원은 블랙박스 방식이므로, 최신의 거의 선형 시간 해법을 활용할 수 있으며, 이로 인해 새로운 복잡도 상한이 달성되었다.
• 결과는 거리 조건 없이 일반적인 비용 함수에 대해서도 강건하므로, 다양한 기계학습 및 통계 응용 분야에 적용 가능하다.