[논문 리뷰] Decentralize and Randomize: Faster Algorithm for Wasserstein Barycenters

Pavel Dvurechensky, Darina Dvinskikh외 3명|arXiv (Cornell University)|2018. 06. 11.

Point processes and geometric inequalities참고 문헌 38인용 수 21

한 줄 요약

이 논문은 네트워크에 분포된 연속 확률 측도의 정규화된 워싱어스타인 바리센터를 계산하기 위한 새로운 분산형, 랜덤화된 알고리즘을 제안한다. 가속화된 원-대안 스토하스틱 그래디언트 방법과 분산형 공감을 결합함으로써, 명시적인 비점근 복잡도 경계를 갖는 빠른 수렴을 달성하며, 특히 바리센터 지지 집합의 크기가 클 경우 결정론적 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We study the decentralized distributed computation of discrete approximations for the regularized Wasserstein barycenter of a finite set of continuous probability measures distributedly stored over a network. We assume there is a network of agents/machines/computers, and each agent holds a private continuous probability measure and seeks to compute the barycenter of all the measures in the network by getting samples from its local measure and exchanging information with its neighbors. Motivated by this problem, we develop, and analyze, a novel accelerated primal-dual stochastic gradient method for general stochastic convex optimization problems with linear equality constraints. Then, we apply this method to the decentralized distributed optimization setting to obtain a new algorithm for the distributed semi-discrete regularized Wasserstein barycenter problem. Moreover, we show explicit non-asymptotic complexity for the proposed algorithm.

연구 동기 및 목표

• 대규모 네트워크에서 워싱어스타인 바리센터를 분산적으로 계산할 때 발생하는 계산 및 통신 과제를 해결하기 위해.
• 전체 네트워크 지식 없이도 작동하는 확장 가능한 분산형 알고리즘을 개발하여, 연속 측도로부터 국소적으로 샘플링할 수 있도록 하기 위해.
• 스토하스틱 최적화 프레임워크에서 랜덤화를 활용하여 결정론적 방법보다 더 빠른 수렴을 달성하기 위해.
• 네트워크 구조와 문제 파라미터에 따라 의존하는 명시적 비점근 반복 및 샘플링 복잡도 경계를 제공하기 위해.

제안 방법

• 선형 등식 제약 조건이 있는 볼록 최적화 문제에 대해 새로운 가속화된 원-대안 스토하스틱 그래디언트 방법을 제안한다.
• 이 방법을 분산형 네트워크 환경에서의 준연속 정규화 워싱어스타인 바리센터 문제에 적용한다.
• 연속 확률 측도로부터의 국소 샘플링과 이웃 간 통신을 통해 국소 추정치를 반복적으로 갱신한다.
• 문제를 부드럽게 하고 수렴 속도를 높이기 위해 엔트로피 정규화를 사용한다.
• 대칭적이고 이중 스토하스틱 가중치 행렬을 사용하여 에이전트들이 국소 해를 평균 내는 랜덤화된 공감 메커니즘을 도입한다.
• 특히 가중치 행렬의 최대 고유값인 λ_max(W)에 따라 네트워크 스펙트럼 성질에 기반한 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 분산형 알고리즘이 워싱어스타인 바리센터 계산에서 결정론적 방법보다 더 빠른 수렴을 달성할 수 있는가?
• RQ2 큰 지지 집합을 가진 바리센터 문제에서 랜덤화는 수렴 속도에 어떤 영향을 미치는가?
• RQ3 정규화된 워싱어스타인 바리센터에 대한 분산형 스토하스틱 알고리즘의 명시적 비점근 복잡도는 무엇인가?
• RQ4 특히 λ_max(W)에 의해 영향을 받는 네트워크 구조는 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 이 알고리즘은 가우시안 및 볼츠만-미제스 분포와 같은 연속 분포의 바리센터를 분산 환경에서 효과적으로 계산할 수 있는가?

주요 결과

• 제안된 알고리즘은 ε-최적 해를 위한 비점근 반복 복잡도 O(1/ε)를 달성하며, λ_max(W)를 통해 네트워크 구조에 명시적인 의존성을 보인다.
• 특히 바리센터 지지 집합의 크기가 클 경우, 랜덤화가 결정론적 방법보다 더 빠른 수렴을 이끈다.
• 에르되시-레니 그래프와 사이클 그래프에서 모두 모든 에이전트가 동일한 바리센터로 수렴하는 것으로 확인되었다.
• 실험 결과, 단변량 가우시안 및 볼츠만-미제스 분포에 대해 국소 바리센터가 공통 분포로 수렴하는 것으로 나타났다.
• MNIST 및 IXI 데이터셋에서의 이미지 집합 실험 결과, 에이전트들이 구조적으로 대표적인 이미지로 수렴하는 것으로 확인되어, 이 방법의 실용적 유용성을 검증하였다.
• 스타 그래프에서는 λ_max(W)가 높아 성능이 열악한 것으로 나타나, 네트워크 구조가 성능에 상당한 영향을 미친다.