[논문 리뷰] Improved Complexity Bounds in Wasserstein Barycenter Problem

Darina Dvinskikh, Daniil Tiapkin|arXiv (Cornell University)|2020. 10. 09.

Geometric Analysis and Curvature Flows참고 문헌 22인용 수 6

한 줄 요약

이 논문은 크기가 n인 m개의 이산 확률 측도에 대한 워셔스타인 바리센터를 계산하기 위한 두 가지 새로운 알고리즘을 제안한다. 이 알고리즘들은 수렴 속도 향상으로 인해 기존 방법보다 우수한 성능을 보인다. 첫 번째 알고리즘은 특수하게 설계된 노름을 사용한 미러 프락스를 적용하여 $O(mn^2\sqrt{n}/\varepsilon)$의 복잡도를 달성하며, 고정밀도에서 수치적 불안정성이 발생하지 않는다. 두 번째 알고리즘은 영역-볼록성과 이중 외삽을 활용하여 기존에 알려진 최고의 수렴 속도인 $O(mn^2/\varepsilon)$를 달성하며, 고정밀 응용 분야에서 이론적·실제로도 기존의 엔트로피 정규화 방법보다 뛰어나다.

ABSTRACT

In this paper, we focus on computational aspects of the Wasserstein barycenter problem. We propose two algorithms to compute Wasserstein barycenters of $m$ discrete measures of size $n$ with accuracy $\e$. The first algorithm, based on mirror prox with a specific norm, meets the complexity of celebrated accelerated iterative Bregman projections (IBP), namely $\widetilde O(mn^2\sqrt n/\e)$, however, with no limitations in contrast to the (accelerated) IBP, which is numerically unstable under small regularization parameter. The second algorithm, based on area-convexity and dual extrapolation, improves the previously best-known convergence rates for the Wasserstein barycenter problem enjoying $\widetilde O(mn^2/\e)$ complexity.

연구 동기 및 목표

• 워셔스타인 바리센터 문제에서 고정밀도 해를 필요로 할 경우 엔트로피 정규화 방법(예: IBP)이 겪는 수치적 불안정성을 해결하기 위해.
• 정규화에 의존하지 않고 가속화된 IBP의 수렴 속도를 유지하거나 초월하는 방법을 개발하기 위해.
• 기존 방법보다 이론적으로 더 나은 복잡도 상한을 확보하기 위해, 특히 고정밀 응용 분야에서 성능 향상을 위해.
• 작은 정규화 파rameter에서 성능이 떨어지는 반복 Bregman 투영(IBP)의 수치적 안정성 있는 대안을 제공하기 위해.

제안 방법

• 첫 번째 알고리즘은 워셔스타인 바리센터 문제에 특화된 특정한 프록스-함수를 사용한 미러 프락스를 적용하여, 정규화 없이도 안정적인 수렴을 가능하게 한다.
• 두 번째 알고리즘은 바리센터 문제를 사다리꼴 문제로 재구성하고, 영역-볼록성 하에 이중 외삽을 적용하여 더 빠른 수렴을 달성한다.
• 두 방법 모두 엔트로피 정규화를 회피함으로써, 작은 정규화 파rameter에서 발생하는 수치적 불안정성을 제거한다.
• 고급 최적화 기법, 특히 영역-볼록성과 네스테로프 유형의 외삽을 사용하여 수렴 속도 향상을 이끌어내기 위한 분석을 수행한다.
• 기본 비용 행렬의 구조와 측도의 수를 고려하여 이론적 복잡도 상한을 유도함으로써, $n$과 $\varepsilon$에 대한 더 나은 의존성 확보.
• MNIST, notMNIST 및 가우시안 분포에서의 실험을 통해 진짜 바리센터와의 수렴 성능을 비교하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화에 의존하지 않고도 고정밀도에서 안정성과 정확도를 유지할 수 있는 워셔스타인 바리센터 알고리즘을 설계할 수 있는가?
• RQ2 정규화 없이도 바리센터 문제에 대해 $\widetilde{O}(mn^2\sqrt{n}/\varepsilon)$보다 우수한 수렴 속도를 달성할 수 있는가?
• RQ3 영역-볼록성과 함께 사용된 이중 외삽 방법은 기존의 IBP 기반 접근법에 비해 수렴 속도와 수치적 안정성 측면에서 어떻게 비교되는가?
• RQ4 미러 프락스 기반 알고리즘이 작은 정규화 파rameter를 갖는 IBP와 비교하여 실용적인 성능은 어떠한가?

주요 결과

• 미러 프락스 기반 알고리즘은 $\widetilde{O}(mn^2\sqrt{n}/\varepsilon)$의 복잡도를 달성하며, 가속화된 IBP의 최고 수준의 수렴 속도를 유지하지만 고정밀도에서 수치적 불안정성이 발생하지 않는다.
• 이중 외삽 알고리즘은 $\widetilde{O}(mn^2/\varepsilon)$의 더 나은 복잡도 상한을 확보하여, 워셔스타인 바리센터 문제에 대해 이전의 모든 방법보다 향상된 성능을 보인다.
• MNIST 및 notMNIST에서의 실험 결과, 작은 정규화 파arameter를 갖는 IBP는 수치적 불안정성이 발생하는 반면, 제안된 알고리즘은 더 정확한 바리센터를 생성한다.
• 가우시안 측도에서 두 알고리즘이 모두 정규화된 IBP보다 더 빠르고 정확하게 진짜 바리센터에 수렴하며, 특히 고정밀 응용에서 뛰어난 성능을 보인다.
• 이중 외삽 방법은 이론적으로 더 나은 복잡도를 갖지만, 하위문제의 비용이 낮아 초기 반복 단계에서 미러 프락스 알고리즘이 더 나은 실용적 수렴 행동을 보였다.
• 결과적으로 엔트로피 정규화 방법(IBP 등)은 정규화 파arameter $\gamma$가 너무 작아지면 수치적 불안정성이 발생하지만, 제안된 방법들은 이러한 상황에서도 강건함을 입증했다.