[논문 리뷰] Near-linear time approximation algorithms for optimal transport via Sinkhorn iteration

Jason M. Altschuler, Jonathan Weed외 1명|arXiv (Cornell University)|2017. 05. 26.

Advanced Bandit Algorithms Research참고 문헌 35인용 수 211

한 줄 요약

이 논문은 Sinkhorn 반복을 사용하여 최적 운송 거리의 근사에 대한 거의 선형 시간 알고리즘을 증명하고, 같은 보장 및 실용적 이점을 갖는 탐욕적 변형인 Greenkhorn을 도입한다.

ABSTRACT

Computing optimal transport distances such as the earth mover's distance is a fundamental problem in machine learning, statistics, and computer vision. Despite the recent introduction of several algorithms with good empirical performance, it is unknown whether general optimal transport distances can be approximated in near-linear time. This paper demonstrates that this ambitious goal is in fact achieved by Cuturi's Sinkhorn Distances. This result relies on a new analysis of Sinkhorn iteration, which also directly suggests a new greedy coordinate descent algorithm, Greenkhorn, with the same theoretical guarantees. Numerical simulations illustrate that Greenkhorn significantly outperforms the classical Sinkhorn algorithm in practice.

연구 동기 및 목표

• 이산 측정에서 최적 운송 거리의 빠른 계산을 고무한다.
• 엔트로피 규제화를 통한 OT에 대해 거의 선형 시간 근사 보장을 제공한다.
• 이론적 보장을 가진 실용적이고 구현이 쉬운 알고리즘을 도입한다.
• 근사치로부터 실제 가능한 OT 해를 얻기 위한 간단한 반올림 절차를 제공한다.

제안 방법

• OT를 주변합이 r과 c인 선형 계획법으로 형식화한다.
• 엔트로피 정규화를 사용하여 Sinkhorn 투영 P_eta를 정의하고 그 명시적 형태 P_eta = X A Y를 A = exp(-eta C)로 설정한다.
• 주변합 거리에서 운송 폴리토프에 가깝게 만드는 근사 Sinkhorn 투영 Proj(A, U_{r,c}, epsilon')를 개발한다.
• 오차를 제어하면서 U_{r,c}에서 가능한 P를 생성하는 반올림 루틴 round(F, U_{r,c})을 제공한다.
• 근사선형 시간 보장을 가진 두 투영 방법: Sinkhorn(행/열 반복 스케일링)과 Greenkhorn(탐욕적 좌표 업데이트)을 분석한다.
• 전체 실행 시간을 증명한다: O(n^2) 플러스 S이며, S = O(n^2 L^3 (log n) epsilon^{-3}) 이고 ||C||_infty <= L일 때.

실험 결과

연구 질문

• RQ1 이산 측정 간의 OT 거리를 입력 크기 n^2에서 거의 선형 시간으로 근사할 수 있는가?
• RQ2 일반 비음수 비용 행렬 C에 대해 엔트로피 규제화가 엄밀한 거의 선형 시간 근사 보장을 가능하게 하는가?
• RQ3 실용적이고 구현이 쉬운 Sinkhorn의 변형(Greenkhorn)이 동일한 보장을 더 나은 실험 성능으로 달성할 수 있는가?
• RQ4 근사 Sinkhorn 투영을 해석 가능한 오차 경계가 있는 실제 가능한 운송 계획으로 변환하는 반올림 단계는 어떻게 만들 수 있는가?

주요 결과

• 저자들은 엔트로피 규제화가 있는 Sinkhorn 거리가 이산 측정 간의 OT 거리를 위한 거의 선형 시간 근사를 제공한다는 것을 보인다.
• 그들은 정밀한 런타임 한계를 제시한다: O(n^2 + S), S = O(n^2 L^3 log n epsilon^{-3})이고 ||C||_infty <= L일 때.
• 탐욕적 좌표 감소 변형인 Greenkhorn은 Sinkhorn과 동일한 이론적 보장을 달성하지만 실용적 성능은 향상된다.
• 간단한 반올림 절차를 통해 OT 목적에서 덧셈적 오차 epsilon를 갖는 U_{r,c}의 가능한 운송 계획을 얻을 수 있다.
• 논문은 Sinkhorn 접근법의 매개변수 조정에 대한 지침을 제공하고 MNIST 이미지 데이터와 합성 실험에서 Greenkhorn이 표준 Sinkhorn보다 실험적으로 우월함을 입증한다.
• 경험적 결과는 Greenkhorn이 짧은 실행과 긴 실행 모두에서 Sinkhorn을 크게 능가함을 시사한다.