[논문 리뷰] A Fast Proximal Point Method for Wasserstein Distance.

Yujia Xie, Xiangfeng Wang외 2명|arXiv (Cornell University)|2018. 02. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 33

한 줄 요약

이 논문은 정확한 워셔스타인 거리 계산을 위해 확률 단체 간 투영을 통한 프록시멀 연산자의 근사화를 통해 효율적으로 정확한 워셔스타인 거리를 계산하는 비정확한 프록시멀 포인트 방법(IPOT)을 제안한다. 이 방법은 정규화에 의한 성능 저하 없이 정확한 거리를 요구하는 응용 분야에서 최신 기술 대비 빠른 속도와 높은 정확도를 달성하며, 수렴 성능이 뛰어나다.

ABSTRACT

Wasserstein distance plays increasingly important roles in machine learning, stochastic programming and image processing. Major efforts have been under way to address its high computational complexity, some leading to approximate or regularized variations such as Sinkhorn distance. However, as we will demonstrate, several important machine learning applications call for the computation of exact Wasserstein distance, and regularized variations with small regularization parameter will fail due to numerical stability issues or degradate the performance. We address this challenge by developing an Inexact Proximal point method for Optimal Transport (IPOT) with the proximal operator approximately evaluated at each iteration using projections to the probability simplex. We also simplify the architecture for learning generative models based on optimal transport solution, and generalize the idea of IPOT to a new method for computing Wasserstein barycenter. We provide convergence analysis of IPOT and experiments showing our new methods outperform the state-of-the-art methods in terms of both effectiveness and efficiency.

연구 동기 및 목표

• 기계 학습 및 영상 처리 분야에서 정확한 워셔스타인 거리 계산의 높은 계산 비용과 수치적 불안정성 문제를 해결하기 위해.
• 정규화가 작은 경우 성능 저하가 발생하는 Sinkhorn 거리와 같은 정규화된 변형의 한계를 극복하기 위해.
• 정확한 최적 운반 거리를 계산하기 위한 확장 가능하고 수치적으로 안정된 방법을 개발하기 위해.
• 최적 운반 해법에 기반한 생성 모델 아키텍처를 단순화하기 위해.
• IPOT를 일반화하여 효율적으로 워셔스타인 바리센터를 계산할 수 있도록 하기 위해.

제안 방법

• 프록시멀 연산자를 단체 간 투영을 통해 근사적으로 해결하는 비정확한 프록시멀 포인트(IPOT) 프레임워크를 활용한다.
• 각 반복에서 단체 간 투영을 통한 비정확한 해를 갖는 프록시멀 스텝을 적용하여 계산 오버헤드를 줄인다.
• 비정확한 하위문제 해에도 불구하고 수렴 보장을 유지하도록 알고리즘을 설계한다.
• 다중 측도로 일반화된 프록시멀 프레임워크를 통해 워셔스타인 바리센터 계산을 확장한다.
• 정규화 없이도 최적 운반 해법을 직접 사용할 수 있도록 해 생성 모델링을 단순화한다.
• 약한 가정 하에 전역 수렴을 보장하기 위해 수렴 분석을 제공한다.

실험 결과

연구 질문

• RQ1 비정확한 프록시멀 포인트 방법이 정확한 워셔스타인 거리의 빠르고 안정적인 계산을 달성할 수 있는가?
• RQ2 IPOT는 정규화된 방법인 Sinkhorn과 비교해 수치적 안정성과 성능 면에서 어떻게 다른가?
• RQ3 IPOT는 효율적으로 워셔스타인 바리센터를 계산할 수 있도록 일반화될 수 있는가?
• RQ4 프록시멀 스텝에서 단체 간 투영을 사용할 경우 수렴성과 정확도가 유지되는가?
• RQ5 이 방법은 최적 운반에 기반한 생성 모델링을 단순화하고 향상시킬 수 있는가?

주요 결과

• IPOT는 정확한 워셔스타인 거리 계산에서 최신 기술 대비 더 빠른 수렴 속도와 높은 정확도를 달성한다.
• 정규화 파rameter가 작을 경우에도 수치적으로 안정되어 있으며, 정규화된 변형에서 관찰되는 성능 저하를 피한다.
• 실증 결과는 다양한 벤치마크에서 기존 방법 대비 효과성과 효율성 면에서 IPOT가 뛰어난 성능을 보임을 보여준다.
• IPOT에 기반한 생성 모델의 단순화된 아키텍처는 훈련 안정성과 샘플 품질 향상에 기여한다.
• IPOT를 워셔스타인 바리센터 계산으로 일반화함으로써 바리센터 문제에 대한 효율적이고 정확한 해법을 제공한다.
• 수렴 분석을 통해 표준 가정 하에 IPOT의 전역 수렴이 확인되어 이론적 강건성을 입증한다.