[논문 리뷰] Decentralized Algorithms for Wasserstein Barycenters

Darina Dvinskikh|arXiv (Cornell University)|2021. 05. 04.

Statistical Mechanics and Entropy인용 수 5

한 줄 요약

이 논문은 엔트로피 정규화된 최적 운반 이론의 이중 공식을 사용하여 워셔스타인 바리센터를 계산하기 위한 탈중앙화 알고리즘을 제안한다. 이는 계산 비용이 낮고 리프시츠 연속 기울기를 갖는 이중 오라클을 활용하여 가속 경사 하강법을 가능하게 한다. 주요 기여는 통신 라운드 수와 오라클 호출 수에 대한 최적의 복잡도 한계를 제시한 것으로, 탈중앙화 환경에서 사다리꼴 공식과 미러-프록스 방법을 통해 검증된다.

ABSTRACT

In this thesis, we consider the Wasserstein barycenter problem of discrete probability measures from computational and statistical sides. The statistical focus is estimating the sample size of measures necessary to calculate an approximation for Fréchet mean (barycenter) of a probability distribution with a given precision. For empirical risk minimization approaches, the question of the regularization is also studied together with proposing a new regularization which contributes to the better complexity bounds in comparison with quadratic regularization. The computational focus is developing algorithms for calculating Wasserstein barycenters: both primal and dual algorithms which can be executed in a decentralized manner. The motivation for dual approaches is closed-forms for the dual formulation of entropy-regularized Wasserstein distances and their derivatives, whereas the primal formulation has closed-form expression only in some cases, e.g., for Gaussian measures. Moreover, the dual oracle returning the gradient of the dual representation for entropy-regularized Wasserstein distance can be computed for a cheaper price in comparison with the primal oracle returning the gradient of the entropy-regularized Wasserstein distance. The number of dual oracle calls, in this case, will also be less, i.e., the square root of the number of primal oracle calls. This explains the successful application of the first-order dual approaches for the Wasserstein barycenter problem.

연구 동기 및 목표

• 이산 확률 측도의 워셔스타인 바리센터를 계산하기 위한 탈중앙화 알고리즘을 개발한다.
• 주어진 정밀도로 확률 분포의 프레셰 평균을 근사하기 위해 필요한 통계적 표본 크기를 분석한다.
• 기존의 제곱 정규화와 비교해 복잡도 한계를 향상시키는 새로운 정규화 기법을 제안한다.
• 이중 및 원시-이중 공식을 사용하여 탈중앙화 환경에서 최적의 통신 및 오라클 복잡도를 확립한다.

제안 방법

• 엔트로피 정규화된 워셔스타인 거리의 이중 공식을 활용하며, 이는 닫힌 형태의 기울기를 제공하고 효율적인 오라클 접근을 가능하게 한다.
• 강한 볼록성로 인해 리프시츠 연속 기울기를 갖는 이중 목표 함수에 대해 가속 경사 하강법을 적용한다.
• 워셔스타인 바리센터 문제의 비정규화된 사다리꼴 공식에 대해 미러-프록스 알고리즘을 적용한다.
• 가중치 행렬의 제곱근 $\sqrt{W}$를 포함하는 변수 변경을 통해 원시-이중 문제를 탈중앙화 형태로 변환한다.
• 탈중앙화 환경에서의 노이즈가 있는 기울기 추정을 모델링하기 위해 $\sigma_{\psi}^{2}$-서브가우시안 분산 조건을 갖는 확률적 이중 오라클을 도입한다.
• 통신 그래프의 조건수 $\chi(W)$를 기반으로 복잡도 한계를 유도하며, 최적의 통신 및 오라클 복잡도를 확립한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화된 워셔스타인 거리의 이중 공식은 원시 방법보다 더 효율적인 탈중앙화 바리센터 계산을 가능하게 하는가?
• RQ2 탈중앙화 네트워크에서 워셔스타인 바리센터를 계산하기 위해 필요한 최적의 통신 라운드 수와 오라클 호출 수는 얼마인가?
• RQ3 제안된 정규화 기법은 제곱 정규화와 비교해 수렴 복잡도를 어떻게 향상시키는가?
• RQ4 미러-프록스를 통한 사다리꼴 공식은 비정규화된 워셔스타인 바리센터에 대해 탈중앙화 환경에서 최적의 복잡도를 달성할 수 있는가?
• RQ5 확률적 기울기의 영향은 탈중앙화 워셔스타인 바리센터 계산에서 통신 및 오라클 복잡도에 어떤 영향을 미치는가?

주요 결과

• 이중 공식은 $\widetilde{O}\left(\sqrt{\frac{L}{\gamma}\chi(W)}\right)$의 통신 라운드 수와 오라클 호출 수를 허용하며, 로그 인자 외에는 알려진 하한값과 일치한다.
• 이중 오라클 호출 수는 원시 오라클 호출 수의 제곱근으로 줄어들어 효율성이 크게 향상된다.
• 강한 볼록성으로 인해 이중 목표 함수는 리프시츠 연속 기울기를 갖는다. 이는 최적의 반복 복잡도를 갖는 가속 경사 하강법의 적용을 가능하게 한다.
• 확률적 경우에서, 노드당 오라클 호출 수는 $\widetilde{O}\left(\max\left\{\frac{M^{2}\sigma_{\psi}^{2}}{\varepsilon^{2}}\chi(W), \sqrt{\frac{L}{\gamma}\chi(W)}\right\}\right)$로 유계이며, 최적의 통신 단계를 갖는 방법의 클래스에서 최적이다.
• 제안된 방법은 결정론적 및 확률적 환경 모두에서 최적의 복잡도를 달성하며, 알려진 하한값과 로그 인자 외에는 일치한다.
• 미러-프록스를 통한 사다리꼴 공식은 최적의 수렴 속도와 탴드된 복잡도 한계를 갖는 탈중앙화 구현을 가능하게 한다.