[논문 리뷰] On Unbalanced Optimal Transport: An Analysis of Sinkhorn Algorithm

Khiem Pham, Khang Le외 3명|arXiv (Cornell University)|2020. 02. 09.

Markov Chains and Monte Carlo Methods참고 문헌 26인용 수 18

한 줄 요약

이 논문은 질량이 다를 수 있는 이산 측도 간의 엔트로피 정규화된 비균형 최적 운반(UOT) 문제를 해결하기 위한 싱크혼 알고리즘의 계산 복잡도 분석을 제공하며, $ widetilde{ mathcal{O}}(n^2 / _varepsilon)$의 복잡도 경계를 증명한다. 이는 표준 최적 운반 문제의 최선의 알려진 경계보다 더 낫다. 분석은 이중 변수 갱신의 기하 수렴성과 원형 해의 스케일링 성질에 기반하여, 비균형 제약 조건의 완화로 인해 UOT가 더 빠른 수렴을 가능하게 한다는 것을 보여준다.

ABSTRACT

We provide a computational complexity analysis for the Sinkhorn algorithm that solves the entropic regularized Unbalanced Optimal Transport (UOT) problem between two measures of possibly different masses with at most $n$ components. We show that the complexity of the Sinkhorn algorithm for finding an $\varepsilon$-approximate solution to the UOT problem is of order $\widetilde{\mathcal{O}}(n^2/ \varepsilon)$, which is near-linear time. To the best of our knowledge, this complexity is better than the complexity of the Sinkhorn algorithm for solving the Optimal Transport (OT) problem, which is of order $\widetilde{\mathcal{O}}(n^2/\varepsilon^2)$. Our proof technique is based on the geometric convergence of the Sinkhorn updates to the optimal dual solution of the entropic regularized UOT problem and some properties of the primal solution. It is also different from the proof for the complexity of the Sinkhorn algorithm for approximating the OT problem since the UOT solution does not have to meet the marginal constraints.

연구 동기 및 목표

• 이산 측도 간의 엔트로피 정규화된 비균형 최적 운반(UOT) 문제를 해결하기 위한 싱크혼 알고리즘의 계산 복잡도를 규명하는 것.
• UOT에서의 균형 제약 조건이 없는 것이 표준 최적 운반(OT)에 비해 수렴 속도에 미치는 영향을 분석하는 것.
• UOT의 $ _varepsilon$-근사 해를 얻기 위해 필요한 반복 횟수의 날카운 상한을 유도하는 것.
• 합성 데이터와 MNIST를 통한 실험을 통해 이론적 복잡도 경계를 검증하는 것.
• 향후 확장, 예를 들어 다중 모서리 UOT 및 UOT 바리센터 문제에 대한 결과의 의미를 탐색하는 것.

제안 방법

• 엔트로피 정규화된 UOT 문제에서 이중 변수 갱신의 기하 감쇠율을 사용한 싱크혼 알고리즘 수렴의 이론적 분석.
• 원형 해의 스케일링 성질과 비용 행렬 $C$의 구조에 기반한 경계 유도.
• UOT 설정에서 Kullback-Leibler(KL) 발산을 페널티 함수로 사용하여 싱크혼 반복를 통해 효율적인 계산이 가능하도록 하는 것.
• 로그 함수 및 점근적 근사법을 적용하여 $ widetilde{\mathcal{O}}(n^2 / \varepsilon)$ 스케일링을 갖는 복잡도 경계 유도.
• 합성 데이터와 MNIST 이미지를 사용한 실험적 검증으로 이론적 반복 횟수($k_f$)와 관측된 반복 횟수($k_c$)를 비교.
• 이론적 경계의 날카움을 평가하기 위해 수렴 비율 $ \|v^k - v^*\|_\infty / \|u^{k+1} - u^*\|_\infty$ 분석.

실험 결과

연구 질문

• RQ1 $ _varepsilon$ 정밀도로 비균형 최적 운반을 근사하는 데 있어 싱크혼 알고리즘의 계산 복잡도는 무엇인가?
• RQ2 UOT에서 균형 제약 조건이 없는 것이 표준 OT에 비해 수렴 속도에 미치는 영향은 무엇인가?
• RQ3 UOT에 대한 이론적 복잡도 경계가 표준 OT보다 더 날카로울 수 있으며, 만약 그렇다면 그 이유는 무엇인가?
• RQ4 복잡도 경계에 포함된 로그 항은 실제 수렴 행동과 어떻게 관련이 있는가?
• RQ5 이론적 반복 횟수는 MNIST와 같은 실세계 데이터셋에서의 경험적 성능을 어느 정도 예측할 수 있는가?

주요 결과

• 비균형 최적 운반을 위한 싱크혼 알고리즘은 $ widetilde{\mathcal{O}}(n^2 / \varepsilon)$의 복잡도 경계를 달성하며, 이는 표준 최적 운반 문제의 $ widetilde{\mathcal{O}}(n^2 / \varepsilon^2)$ 경계보다 더 낫다.
• 개선된 복잡도는 UOT에서 균형 제약 조건이 완화되어 갱신에 더 많은 자유를 부여하고 수렴 속도를 가속화하기 때문이다.
• 합성 데이터에 대한 경험적 결과에서 이론적 반복 횟수 대비 관측 반복 횟수 비율 $k_f / k_c$는 $ _varepsilon$가 1에서 $10^{-4}$로 감소함에 따라 약 18에서 약 8로 감소하여, 극한에서 이론적 경계가 더 날카로워지는 것을 보여준다.
• MNIST 데이터셋에서 경험적 로그 반복 횟수 $ \log(k_c)$는 이론적 $ \log(k_f)$와 밀접하게 일치하여 복잡도 경계의 타당성을 확인한다.
• 이중 변수 차이의 관측된 수렴 비율은 이론적 기하 요소 $ frac{\tau + \eta}{\tau} = 1.1$에 매우 가까워, 유도된 부등식이 거의 날카로운 것을 시사한다.
• 경계에 포함된 로그 항은 중간 부등식의 비최적성 때문이며, 더 날카운 분석으로 이를 향상시킬 수 있다.