[논문 리뷰] A Fast Proximal Point Method for Computing Exact Wasserstein Distance

Yujia Xie, Xiangfeng Wang외 2명|arXiv (Cornell University)|2018. 02. 12.

Geometric Analysis and Curvature Flows참고 문헌 39인용 수 38

한 줄 요약

이 논문은 확률 단체형으로 근사적으로 프록시 연산자를 해결하는 방식으로 정확한 워싱거 거리(Wasserstein distance)를 계산하기 위한 빠른 프록시 포인트 방법 IPOT을 제안한다. 한 번의 내부 반복만으로 선형 수렴를 달성하며, 싱크호른(Sinkhorn)과 유사한 효율성을 가지며, 생성 모델에서 정규화에 의한 수축을 피하고, 엔트로피 정규화 방법보다 더 선명한 워싱거 바리센터(Wasserstein barycenter)를 생성한다.

ABSTRACT

Wasserstein distance plays increasingly important roles in machine learning, stochastic programming and image processing. Major efforts have been under way to address its high computational complexity, some leading to approximate or regularized variations such as Sinkhorn distance. However, as we will demonstrate, regularized variations with large regularization parameter will degradate the performance in several important machine learning applications, and small regularization parameter will fail due to numerical stability issues with existing algorithms. We address this challenge by developing an Inexact Proximal point method for exact Optimal Transport problem (IPOT) with the proximal operator approximately evaluated at each iteration using projections to the probability simplex. The algorithm (a) converges to exact Wasserstein distance with theoretical guarantee and robust regularization parameter selection, (b) alleviates numerical stability issue, (c) has similar computational complexity to Sinkhorn, and (d) avoids the shrinking problem when apply to generative models. Furthermore, a new algorithm is proposed based on IPOT to obtain sharper Wasserstein barycenter.

연구 동기 및 목표

• 싱크호른과 같은 정규화된 최적 운반 방법의 한계를 해결하기 위해, 중간 정도의 정규화에서는 성능 저하가 발생하고, 작은 정규화에서는 수치적 불안정성이 발생하는 문제를 해결하고자 한다.
• 정규화 매개변수의 미세 조정이 필요 없이 정확한 워싱거 거리를 안정적으로 계산할 수 있는 방법을 개발하고자 한다.
• 생성 모델링 및 워싱거 바리센터 계산과 같은 응용 분야에서 최적 운반 계획의 정확하고 안정적인 계산을 가능하게 하고자 한다.
• 정확성을 유지하면서 싱크호른과 유사한 계산 효율성을 달성하고, 생성 모델에서의 수축 문제를 피하고자 한다.

제안 방법

• 브레그만 발산(Bregman divergence) 기반의 일반화된 프록시 포인트 반복을 사용하는 최적 운반을 위한 비정확한 프록시 포인트 방법(IPOT)을 제안한다.
• 각 반복에서 프록시 연산자를 단체형에 투영하는 방식으로 근사하여 효율적이고 수치적으로 안정적인 갱신을 가능하게 한다.
• 이중 단계 반복 기법을 사용한다: 현재 운반 계획을 기반으로 쌍대 변수를 갱신한 후, 제약 조건을 유지하기 위해 다시 단체형으로 투영한다.
• 이 방법은 단 한 번의 내부 반복만으로도 정확한 최적 운반 해에 선형으로 수렴함이 이론적으로 보장된다.
• 다중 분포에 대해 프록시 포인트 프레임워크를 적용하여 워싱거 바리센터를 계산하기 위해 IPOT을 확장한다.
• 고정된 작은 정규화 매개변수 β ≈ 0.001을 사용하며, 이는 효과적인 ε ≈ 2×10⁻⁵에 해당하여 수치적 불안정성 없이 높은 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화에 의존하지 않고도 정확한 워싱거 거리를 효율적으로 계산할 수 있는 프록시 포인트 방법을 설계할 수 있는가?
• RQ2 단체형 투영을 통한 프록시 연산자의 비정확한 평가가 여전히 정확한 해로의 수렴을 보장하는가?
• RQ3 정규화로 인한 수축 문제를 피함으로써 IPOT이 싱크호른 기반 방법보다 생성 모델링에서 더 우수한 성능을 보일 수 있는가?
• RQ4 선명도와 정확도 측면에서 IPOT은 워싱거 바리센터 계산에서 최신 기법들과 비교해 어떻게 성능을 내는가?
• RQ5 정확성과 매개변수 선택에 대한 강건성을 유지하면서도 IPOT의 계산 복잡도는 싱크호른과 유사한가?

주요 결과

• IPOT는 단 한 번의 내부 반복만으로도 정확한 워싱거 거리로 선형 수렴를 보이며, 이론적 한계를 초월한 강력한 경험적 성능을 입증한다.
• 생성 모델에서의 수축 문제를 피함: 중간 정도의 ε를 사용하는 싱크호른은 MNIST에서 모든 10개의 숫자를 커버하지 못하지만, IPOT는 생성 샘플에서 모든 10개의 숫자를 복원한다.
• 싱크호른 기반 방법이 엔트로피 정규화로 인해 흐릿한 아티팩트를 유발하는 데 비해, IPOT는 워싱거 바리센터를 훨씬 더 선명하게 생성한다.
• IPOT의 계산 복잡도는 싱크호른과 거의 동일하며, 반복당 런타임과 메모리 사용량이 유사하다.
• IPOT는 매개변수 선택에 강건함: 다양한 β 값에서도 높은 성능을 유지하며, 반면 싱크호른는 정교한 ε 조정이 필요하다.
• 바리센터 계산에서 IPOT는 컷리(Cuturi), 솔로몬(Solomon), 벤아무(Solomon) 등 기존 방법들보다 뛰어난 시각적 품질을 달성하며, 더 선명하고 정확한 숫자 재구성을 가능하게 한다.