[논문 리뷰] Stochastic Wasserstein Barycenters

Sebastian Claici, Edward Chien외 1명|arXiv (Cornell University)|2018. 02. 15.

Geometric Analysis and Curvature Flows참고 문헌 27인용 수 34

한 줄 요약

이 논문은 연속 확률 분포의 워셔스타인 바리센터를 샘플 접근성만을 이용해 확률적이고 정규화 없이 계산하는 알고리즘을 제안한다. 이중 목표 함수에 대한 확률적 경사상승을 통해 바리센터의 지지체를 반복적으로 조정함으로써, 이전의 고정 지지체 또는 정규화 방법보다 더 선명하고 기하학적 특성을 반영한 바리센터를 생성한다. 응용 분야로는 블루 노이즈 생성 및 슈퍼샘플링이 있다.

ABSTRACT

We present a stochastic algorithm to compute the barycenter of a set of probability distributions under the Wasserstein metric from optimal transport. Unlike previous approaches, our method extends to continuous input distributions and allows the support of the barycenter to be adjusted in each iteration. We tackle the problem without regularization, allowing us to recover a sharp output whose support is contained within the support of the true barycenter. We give examples where our algorithm recovers a more meaningful barycenter than previous work. Our method is versatile and can be extended to applications such as generating super samples from a given distribution and recovering blue noise approximations.

연구 동기 및 목표

• 고정된 이산 지지체나 엔트로피 정규화에 의존하는 기존 워셔스타인 바리센터 방법의 한계를 해결하기 위해.
• 분포 함수나 사전에 정의된 격자 없이 연속 입력 분포에 대한 샘플 기반 접근만으로 바리센터 계산을 가능하게 하기 위해.
• 최적화 중에 바리센터의 지지체를 동적으로 조정하여 더 선명하고 기하학적으로 정확한 바리센터를 생성하기 위해.
• 예를 들어 선이나 타원 위의 균일 분포와 같은 날카러운 기하적 특징이 있는 문제에서, 이 방법이 우월한 성능을 보이는지 확인하기 위해.
• 실제 응용 분야인 블루 노이즈 생성 및 복잡한 분포에서의 슈퍼샘플링에 이 방법을 확장하기 위해.

제안 방법

• 워셔스타인 바리센터 문제의 이중 공식을 활용하여, 이중 잠재변수에 대한 오목 최대화 문제로 바리센터 계산을 공식화한다.
• 입력 분포에서의 샘플을 통해 계산된 기울기를 이용해 이중 목표 함수를 확률적 경사상승으로 최적화한다.
• 운반 지도 기반으로 최적 위치로 점들을 이동시키는 '스냅' 단계를 통해 바리센터의 지지체를 반복적으로 갱신한다.
• 정규화를 피하기 위해 직접적으로 정규화되지 않은 문제를 해결함으로써 출력의 선명함을 유지한다.
• 고정 지지체 격자가 필요 없고 병렬 처리가 가능하므로 진정한 바리센터의 기하학적 구조에 동적으로 적응할 수 있다.
• 수렴 여부는 기울기 노름을 통해 모니터링하며, ‖∇F‖₂² ≤ 10⁻⁶일 때 종료한다.

실험 결과

연구 질문

• RQ1 고정 지지체를 가정하지 않고 샘플 접근성만으로도 확률적이고 정규화가 없는 알고리즘이 워셔스타인 바리센터를 계산할 수 있는가?
• RQ2 바리센터의 지지체를 동적으로 조정하는 방식이 고정 지지체 방법에 비해 출력의 선명함과 기하학적 정확도에 어떤 영향을 미치는가?
• RQ3 예를 들어 선이나 타원 위의 균일 측도와 같은 날카러운 기하적 특징이 있는 경우, 제안된 방법이 기존 방법보다 이론적 기대값에 더 가까운 바리센터를 복원하는가?
• RQ4 이 방법은 복잡한 분포에서의 블루 노이즈 생성 및 슈퍼샘플링과 같은 실용적 문제에 효과적으로 적용될 수 있는가?
• RQ5 N=2인 경우, 바리센터는 맥캔의 보간법에 해당해야 하는데, 이 경우 방법의 성능은 어떠한가?

주요 결과

• 특히 선이나 타원 위의 균일 분포와 같은 날카러운 기하적 특징이 있는 문제에서, 정규화 또는 고정 지지체 방법보다 훨씬 더 선명한 바리센터를 생성한다.
• 단위 정사각형 위의 균일 측도에 대해 N=2인 경우, 이 방법은 중점 정사각형 위의 기대되는 균일 바리센터를 회복하지만, Staib 등 (2017)은 비균일하고 비균일하게 지지된 결과를 도출한다.
• N=10개의 선 위의 균일 분포에 대해선 바리센터가 단일 선 위에 선명하게 지지되며 이론적 기대와 일치하지만, 경쟁 방법들은 더 넓거나 정확도가 떨어지는 지지체를 생성한다.
• 강도 이미지를 분포로 간주하고 바리센터 알고리즘을 통해 샘플링함으로써 고품질의 블루 노이즈 점 집합을 성공적으로 생성하였으며, De Goes 등 (2012)의 결과와 유사한 품질을 달성하였다.
• 10개의 가우시안 혼합 분포에서의 슈퍼샘플링에서는 음의 자기상관관계로 인해 밀도 등고선을 더 잘 따르는 점들을 생성하여, 고밀도 영역을 과도하게 샘플링하는 i.i.d. 샘플링보다 우수한 성능을 보였다.
• 스냅 단계당 20회 이내로 수렴이 안정적으로 이루어지며, 여러 예제에서 한 스텝 스냅만으로도 충분하여 실용적 효율성이 높음을 시사한다.