[논문 리뷰] A Graph Theoretic Additive Approximation of Optimal Transport

Nathaniel Lahn, Deepika Mulchandani외 1명|arXiv (Cornell University)|2019. 05. 28.

Complexity and Algorithms in Graphs참고 문헌 28인용 수 4

한 줄 요약

이 논문은 Gabow와 Tarjan의 비용 스케일링 프레임워크를 적응시켜, O(n²C/δ + nC²/δ²) 시간 내에 최적 운반 문제의 δ-근접 덧셈 근사값을 계산하는 새로운 그래프 이론적 알고리즘을 제안한다. 이 방법은 잔여 그래프 상에서 오직 다익스트라 유형 및 깊이 우선 탐색을 사용하며, MNIST 데이터에서 Sinkhorn과 경쟁 가능한 성능을 보이며, 작은 δ 값에서도 안정성을 유지한다.

ABSTRACT

Transportation cost is an attractive similarity measure between probability distributions due to its many useful theoretical properties. However, solving optimal transport exactly can be prohibitively expensive. Therefore, there has been significant effort towards the design of scalable approximation algorithms. Previous combinatorial results [Sharathkumar, Agarwal STOC '12, Agarwal, Sharathkumar STOC '14] have focused primarily on the design of near-linear time multiplicative approximation algorithms. There has also been an effort to design approximate solutions with additive errors [Cuturi NIPS '13, Altschuler \etal\ NIPS '17, Dvurechensky \etal\, ICML '18, Quanrud, SOSA '19] within a time bound that is linear in the size of the cost matrix and polynomial in $C/δ$; here $C$ is the largest value in the cost matrix and $δ$ is the additive error. We present an adaptation of the classical graph algorithm of Gabow and Tarjan and provide a novel analysis of this algorithm that bounds its execution time by $O(\frac{n^2 C}δ+ \frac{nC^2}{δ^2})$. Our algorithm is extremely simple and executes, for an arbitrarily small constant $\varepsilon$, only $\lfloor \frac{2C}{(1-\varepsilon)δ} floor + 1$ iterations, where each iteration consists only of a Dijkstra-type search followed by a depth-first search. We also provide empirical results that suggest our algorithm is competitive with respect to a sequential implementation of the Sinkhorn algorithm in execution time. Moreover, our algorithm quickly computes a solution for very small values of $δ$ whereas Sinkhorn algorithm slows down due to numerical instability.

연구 동기 및 목표

• 증명 가능하고 런타임 경계가 보장된, 확장 가능한 조합적 알고리즘을 설계하여 최적 운반 문제의 덧셈 근사값을 구하기.
• 작은 덧셈 오차 δ에서 기존 반복 알고리즘(예: Sinkhorn)의 수치적 불안정성 문제를 해결하기.
• Gabow와 Tarjan의 비용 스케일링 알고리즘을 기반으로 한 단순한 반복적 방법을 제공하고, 실행 시간 분석을 정교화하기.
• 동적 근접 이웃 데이터 구조를 활용하여 기하학적 및 거리 기반 비용에 대한 최적 운반 문제의 효율적 계산을 가능하게 하기.
• 대규모 최적 운반 문제에 대한 병렬 처리 및 근사 이웃 기반 가속화의 가능성 탐색하기.

제안 방법

• 수요, 공급 및 비용의 정수 스케일링을 사용하여 Gabow와 Tarjan의 비용 스케일링 알고리즘을 운반 문제에 적응 적용.
• 고정된 수의 반복 —⌊2C/((1−ε)δ)⌋+1회 —을 수행하며, 각 반복은 잔여 그래프 상에서 다익스트라 유형 탐색과 깊이 우선 탐색을 순차적으로 수행.
• 원래 비용을 δ′으로 나누고 내림값을 취해 얻은 스케일링된 비용 함수 c̄(·,·)를 사용하며, 수정된 핵심 보조정리에 의해 정확성이 유지된다.
• 기하학적 설정에서 다익스트라 및 DFS 단계의 가속화를 위해 동적 가중 이웃 데이터 구조를 활용하며, 쿼리/업데이트 시간이 다항 로그 수준이다.
• 실행 시간 분석을 직경 민감한 접근 방식으로 수행하여, 총 실행 시간을 O(n²C/δ + nC²/δ²)로 경계한다.
• Sinkhorn 및 Greenkhorn과 달리 반복적 행/열 업데이트를 피하는 순차적 변형을 구현한다.

실험 결과

연구 질문

• RQ1 조합적 알고리즘이 C/δ에 대해 비선형 시간 내에 최적 운반 문제의 δ-근접 덧셈 근사값을 도출할 수 있는가?
• RQ2 Gabow와 Tarjan의 비용 스케일링 프레임워크를 적응시켜 반복 횟수를 최소화하면서도 증명 가능한 덧셈 오차 경계를 제공할 수 있는가?
• RQ3 작은 δ 값에서 이 알고리즘의 실행 시간과 해 품질 측면에서 Sinkhorn과 같은 반복적 방법과 비교해 볼 때 어떤 성능을 보이는가?
• RQ4 동적 이웃 데이터 구조를 활용하여 기하학적 최적 운반 문제에 대해 근사 최적의 시간 복잡도를 달성할 수 있는가?
• RQ5 낮은 오버헤드를 가지며 병렬 처리가 가능한 조합적 알고리즘을 설계하여 δ-근접 최적 운반 문제를 해결할 수 있는가?

주요 결과

• 제안된 알고리즘은 O(n²C/δ + nC²/δ²) 시간 내에 최적 운반 비용에 대한 δ-근접 덧셈 근사값을 제공한다.
• 알고리즘은 총 ⌊2C/((1−ε)δ)⌋+1회의 반복만 수행하며, 각 반복은 다익스트라 한 번과 깊이 우선 탐색 한 번으로 구성되어 있어 매우 효율적이고 단순하다.
• 실험 결과, 모든 테스트된 δ 값에서 Sinkhorn보다 빠른 성능을 보이며, 특히 작은 δ 값에서 Sinkhorn가 수치적 불안정성으로 인해 성능이 급격히 떨어지는 경우에 뚜렷한 우월성을 보인다.
• δ = 0.025에서 0.2 사이의 범위에서, 알고리즘은 실행 시간과 해의 비용 측면에서 항상 Sinkhorn를 능가하며, 심지어 Sinkhorn가 5배의 더 큰 오차 허용 범위를 가질 때조차도 더 낮은 비용의 해를 생성한다.
• 동적 이웃 데이터 구조를 결합할 경우, 유클리드 및 제곱 유클리드 거리와 같은 기하학적 비용에 대해 Õ(n(C/δ)²) 시간 복잡도를 달성한다.
• Sinkhorn와 달리 매우 작은 δ 값에서도 알고리즘은 안정적이고 효율적이며, 수치적 문제로 인해 성능이 급격히 저하되지 않는다.