[논문 리뷰] Projection Robust Wasserstein Barycenters

Minhui Huang, Shiqian Ma외 1명|arXiv (Cornell University)|2021. 02. 05.

Anomaly Detection Techniques and Applications인용 수 2

한 줄 요약

이 논문은 워셔스타인 바리센터 계산에서 차원의 저주를 완화하기 위해 투영 강건 워셔스타인 바리센터(Projection Robust Wasserstein Barycenter, PRWB)를 제안한다. 바리센터 목적함수를 최대화하는 저차원 부분공간에 측도를 투영함으로써, 이론적으로는 RPRWB(Relaxed PRWB) 모델이 스티엘리 만만드에서 최대-최소 문제로 표현되어 효율적인 계산이 가능하게 되며, 이는 실제 텍스트 데이터셋에서의 클러스터링 성능 향상으로 이어진다.

ABSTRACT

Collecting and aggregating information from several probability measures or histograms is a fundamental task in machine learning. One of the popular solution methods for this task is to compute the barycenter of the probability measures under the Wasserstein metric. However, approximating the Wasserstein barycenter is numerically challenging because of the curse of dimensionality. This paper proposes the projection robust Wasserstein barycenter (PRWB) that has the potential to mitigate the curse of dimensionality. Since PRWB is numerically very challenging to solve, we further propose a relaxed PRWB (RPRWB) model, which is more tractable. The RPRWB projects the probability measures onto a lower-dimensional subspace that maximizes the Wasserstein barycenter objective. The resulting problem is a max-min problem over the Stiefel manifold. By combining the iterative Bregman projection algorithm and Riemannian optimization, we propose two new algorithms for computing the RPRWB. The complexity of arithmetic operations of the proposed algorithms for obtaining an $\epsilon$-stationary solution is analyzed. We incorporate the RPRWB into a discrete distribution clustering algorithm, and the numerical results on real text datasets confirm that our RPRWB model helps improve the clustering performance significantly.

연구 동기 및 목표

• 차원의 저주로 인해 고차원 공간에서 워셔스타인 바리센터를 계산할 때 발생하는 수치적 과제를 해결하기 위해.
• 계산 비용이 매우 높은 투영 강건 워셔스타인 바리센터(PRWB)의 더 다루기 쉬운 대안을 개발하기 위해.
• 낮은 차원의 부분공간을 최적화하여 바리센터 품질을 유지하는 RPRWB(Relaxed PRWB) 모델을 제시하기 위해.
• RPRWB 문제를 해결하기 위해 반복적 브레만 투영과 리만 기하 최적화 기법을 융합한 효율적인 알고리즘을 설계하기 위해.

제안 방법

• 스티엘리 만만드 위에서 최대-최소 최적화 문제로 RPRWB를 공식화하여, 바리센터 목적함수를 최대화하는 투영 부분공간을 최적화한다.
• 투영된 공간에서 워셔스타인 바리센터 계산을 다루기 위해 반복적 브레만 투영을 사용한다.
• 스티엘리 만만드 위에서 부분공간 선택 문제를 해결하기 위해 리만 기하 최적화 기법을 적용한다.
• 두 구성 요소를 융합하여 RPRWB를 계산하기 위한 두 가지 새로운 알고리즘을 제안하며, 수렴 보장을 제공한다.
• 제안된 알고리즘의 산술 복잡도를 분석하여 ϵ-정류해(solution)를 얻는 데 필요한 복잡도를 분석한다.
• 실제 텍스트 데이터셋에서 성능을 평가하기 위해 RPRWB를 이산 확률 분포 클러스터링 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 투영 강건 공식화가 고차원에서 워셔스타인 바리센터 계산의 계산 부담을 줄일 수 있는가?
• RQ2 실제 세계 데이터에서 표준 워셔스타인 바리센터와 비교해 RPRWB 모델은 클러스터링 정확도에서 어떤가?
• RQ3 RPRWB 문제의 ϵ-정류해를 얻는 데 필요한 계산 복잡도는 얼마인가?
• RQ4 차원을 감소시키는 동안 RPRWB 모델이 바리센터 품질을 유지하거나 향상시킬 수 있는가?

주요 결과

• 표준 워셔스타인 바리센터 방법에 비해 실제 텍스트 데이터셋에서 RPRWB 모델이 클러스터링 성능을 크게 향상시킨다.
• 제안된 알고리즘은 분석 가능한 산술 복잡도를 갖추고 있어, 이로 인해 방법의 확장성이 확보된다.
• RPRWB의 완화된 공식화 덕분에 계산 효율성과 바리센터 품질의 균형을 이룬 다루기 쉬운 공식화가 가능해졌다.
• RPRWB를 클러스터링 알고리즘에 통합함으로써 클러스터링 정확도 향상의 측정 가능한 성과를 달성했다.