[논문 리뷰] Gradient descent algorithms for Bures-Wasserstein barycenters

Sinho Chewi, Tyler Maunu외 2명|arXiv (Cornell University)|2020. 01. 06.

Geometric Analysis and Curvature Flows참고 문헌 33인용 수 28

한 줄 요약

이 논문은 기하학적 기울기 강하 알고리즘을 개발하여 확률 측도의 Bures-Wasserstein 바리센터를 계산하고, 지오데식 볼록성이 없음에도 불구하고 Polyak-Łojasiewicz (PL) 부등식을 활용하여 전역 수렴 속도를 확립한다. 주요 기여는 가우시안 측도의 Bures-Wasserstein 다양체에서 PL 부등식을 증명함으로써, 이 설정에서 1차 방법에 대한 처음으로 전역 수렴 속도를 확보하는 것이다.

ABSTRACT

We study first order methods to compute the barycenter of a probability distribution $P$ over the space of probability measures with finite second moment. We develop a framework to derive global rates of convergence for both gradient descent and stochastic gradient descent despite the fact that the barycenter functional is not geodesically convex. Our analysis overcomes this technical hurdle by employing a Polyak-Lojasiewicz (PL) inequality and relies on tools from optimal transport and metric geometry. In turn, we establish a PL inequality when $P$ is supported on the Bures-Wasserstein manifold of Gaussian probability measures. It leads to the first global rates of convergence for first order methods in this context.

연구 동기 및 목표

• Bures-Wasserstein 기하학에서 워셔스타인 바리센터를 계산하기 위한 1차 최적화 방법을 개발하기 위해.
• 측도 공간의 비볼록 설정에서 기울기 강하의 이론적 수렴 보장 부족 문제를 다루기 위해.
• 바리센터 기능의 지오데식 볼록성이 없음에도 불구하고 전역 수렴 속도를 확립하기 위해.
• 가우시안 측도의 Bures-Wasserstein 다양체에서 Polyak-Łojasiewicz (PL) 부등식을 증명하기 위해.
• 이 비유클리드 최적화 맥락에서 스위치 및 표준 기울기 강하에 대한 처음으로 전역 수렴 속도를 가능하게 하기 위해.

제안 방법

• Bures-Wasserstein 다양체의 가우시안 측도에서 바리센터 기능에 대한 Polyak-Łojasiewicz (PL) 부등식을 유도한다.
• 최적 운반 및 거리 기하학 도구를 사용하여 비볼록 설정에서의 수렴을 분석한다.
• PL 부등식을 적용하여 기울기 강하 및 스위치 기울기 강하에 대한 전역 선형 수렴 속도를 확립한다.
• 일반화된 지오데식과 몽게-암페르 방정식을 사용하여 측도 공간 내 경로를 따라 밀도의 행동을 분석한다.
• 운반 지도 및 공분산 행렬을 통해 바리센터 기능의 워셔스타인 기울기를 특성화한다.
• 기능이 일반화된 지오데식을 따라 측도의 로그 밀도에서 볼록임을 증명하여 곡률 기반 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 지오데식 볼록성이 없음에도 불구하고 Bures-Wasserstein 바리센터 기능에 대한 기울기 강하에 대해 전역 수렴 속도를 확립할 수 있는가?
• RQ2 가우시안 측도의 Bures-Wasserstein 다양체에서 바리센터 기능에 대해 Polyak-Łojasiewicz (PL) 부등식이 성립하는가?
• RQ3 이 설정에서 워셔스타인 바리센터를 계산하기 위한 기울기 강하 및 스위치 기울기 강하의 전역 수렴 속도는 무엇인가?
• RQ4 Bures-Wasserstein 다양체의 기하학은 비볼록 최적화에서 수렴 보장을 어떻게 가능하게 하는가?
• RQ5 PL 부등식을 사용하여 바리센터 계산에서 통계적 일致성과 알고리즘 효율성 사이의 격차를 메울 수 있는가?

주요 결과

• 바리센터 기능은 $ \zeta $-정규화된 Bures-Wasserstein 다양체의 가우시안 측도에서 상수 $ C_{\mathsf{PL}} = \zeta^2/4 $ 를 가진 PL 부등식을 만족한다.
• Bures-Wasserstein 바리센터 문제에 대해 기울기 강하 및 스위치 기울기 강하에 대한 전역 선형 수렴 속도가 확립되었다.
• PL 부등식은 $ \mathcal{S}_\zeta $의 모든 $ b \in \mathcal{S}_\zeta $ 에 대해 균일하게 성립한다. 여기서 $ \mathcal{S}_\zeta $ 는 고유값이 $[\zeta, 1]$ 에 속하는 중심 가우시안의 집합이다.
• 수렴 속도는 최소 고유값 $ \zeta $ 에 따라 달라지며, 더 나은 조건이면 더 빠른 수렴을 보인다.
• 기능 $ \rho \mapsto \ln\|\rho\|_{L^\infty} $ 가 일반화된 지오데식을 따라 볼록임을 증명하여, 핵심 기술적 결과를 확보하였다.
• 결과적으로, 전체 가우시안 다양체에서 Bures-Wasserstein 바리센터 맥락에서 1차 방법에 대한 처음으로 전역 수렴 보장을 제공한다.