[논문 리뷰] Continuous Regularized Wasserstein Barycenters

Lingxiao Li, Aude Genevay외 2명|arXiv (Cornell University)|2020. 08. 28.

Geometric Analysis and Curvature Flows인용 수 8

한 줄 요약

이 논문은 새로운 이중 공식화를 활용하여 연속적인 정규화된 워셔스타인 바리센터를 계산하기 위한 확률적 알고리즘을 제안한다. 이는 샘플 액세스를 통해 연속 확률 분포에 대한 효율적인 온라인 근사치를 가능하게 한다. 이 방법은 이중 잠재변수를 통한 원본-이중 관계를 이용하여 바리센터를 암묵적으로 매개변수화하며, 강한 이중성(duality)을 달성하고 스케일러블한 연속 바리센터 추정을 위한 확률적 경사 하강법을 가능하게 한다.

ABSTRACT

Wasserstein barycenters provide a geometrically meaningful way to aggregate probability distributions, built on the theory of optimal transport. They are difficult to compute in practice, however, leading previous work to restrict their supports to finite sets of points. Leveraging a new dual formulation for the regularized Wasserstein barycenter problem, we introduce a stochastic algorithm that constructs a continuous approximation of the barycenter. We establish strong duality and use the corresponding primal-dual relationship to parametrize the barycenter implicitly using the dual potentials of regularized transport problems. The resulting problem can be solved with stochastic gradient descent, which yields an efficient online algorithm to approximate the barycenter of continuous distributions given sample access. We demonstrate the effectiveness of our approach and compare against previous work on synthetic examples and real-world applications.

연구 동기 및 목표

• 이전 방법이 유한한 지지집합으로 제한된 바에 비해 연속 분포에 대한 워셔스타인 바리센터 계산의 계산적 어려움을 극복하기 위해.
• 기하학적으로 의미 있는 동안 실용적으로 계산 가능한 연속적인 바리센터 근사치를 개발하기 위해.
• 정규화된 문제의 이중 공식화를 활용하여 스트리밍 또는 샘플 기반 데이터로부터 바리센터의 온라인 학습을 가능하게 하기 위해.
• 정규화된 워셔스타인 바리센터 문제에서 강한 이중성을 확립하여 이중 잠재변수를 통한 암묵적 매개변수화를 지원하기 위해.

제안 방법

• 정규화된 워셔스타인 바리센터 문제를 위한 새로운 이중 공식화를 유도하여 원본-이중 관계를 가능하게 하며, 바리센터를 이중 잠재변수와 연결한다.
• 정규화된 최적 운반 문제의 이중 잠재변수를 사용하여 바리센터를 암묵적으로 매개변수화함으로써 명시적 지지집합 이산화를 피한다.
• 이중 변수를 최적화하기 위해 확률적 경사 하강법을 적용하여 입력 분포에 대한 샘플 액세스로부터 온라인 및 스케일러블 업데이트를 가능하게 한다.
• 강한 이중성을 사용하여 최적화된 이중 잠재변수로부터 원본 해(바리센터)가 일관되게 복원됨을 보장한다.
• 최적화의 안정성과 바리센터 근사치의 매끄러움을 확보하기 위해 정규화된 운반 프레임워크를 활용한다.
• 새로운 샘플에 대해 점진적으로 적응하는 연속 바리센터 추정치를 구성하여 실시간 또는 스트리밍 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 유한한 점 집합으로 지지집합을 제한하지 않고도 연속적인 워셔스타인 바리센터 근사치를 효율적으로 계산할 수 있는가?
• RQ2 정규화된 최적 운반 문제에서의 강한 이중성을 어떻게 활용하여 바리센터를 암묵적으로 매개변수화할 수 있는가?
• RQ3 확률적 경사 하강법을 이중 공식화에 효과적으로 적용하여 샘플에서 온라인으로 바리센터를 학습할 수 있는가?
• RQ4 제안된 방법은 합성 및 실세계 데이터에서 이전의 유한 지지집합 기반 접근법과 비교해 정확도와 효율성 면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 정규화된 워셔스타인 바리센터 문제에서 강한 이중성을 달성하여 이중 변수로부터 원본 바리센터를 신뢰성 있게 복원할 수 있다.
• 이중 잠재변수를 통한 암묵적 매개변수화는 명시적 지지집합 이산화 없이 연속 바리센터 추정을 가능하게 한다.
• 이중 공식화에 대한 확률적 경사 하강법은 대규모 또는 스트리밍 데이터 세트로도 스케일링 가능한 효율적인 온라인 알고리즘을 가능하게 한다.
• 합성 및 실세계 데이터에서 이전의 유한 지지집합 기반 기준 대비 제안된 방법이 연속 바리센터 근사치에서 뛰어난 성능을 보였다.