[논문 리뷰] On the Complexity of Approximating Wasserstein Barycenter

Alexey Kroshnin, Darina Dvinskikh외 4명|arXiv (Cornell University)|2019. 01. 24.

Topological and Geometric Data Analysis참고 문헌 52인용 수 32

한 줄 요약

이 논문은 두 가지 엔트로피 정규화 기반 접근법인 반복 브레만 프로젝션(IBP)과 가속화된 원시-이중 그래디언트 강하를 사용하여 m개의 이산 확률 측도의 워샤프스타인 바리센터를 근사하는 데 필요한 계산 복잡도를 분석한다. IBP는 ε-정확도를 달성하는 데 O(mn²/ε²)의 연산을 필요로 하는 반면, 가속화된 그래디언트 강하법은 이를 O(mn².⁵/ε)로 줄이며, 두 방법 모두 정확도가 높을수록 불안정해지는 바람에 정규화 매개변수 γ가 ε에 비례해야 한다는 점을 규명한다. 본 논문은 이러한 문제를 완화하기 위해 프록시멀-IBP 알고리즘을 제안하고, 중심집중형 및 분산형 분산 환경에서의 확장성을 분석한다.

ABSTRACT

We study the complexity of approximating Wassertein barycenter of $m$ discrete measures, or histograms of size $n$ by contrasting two alternative approaches, both using entropic regularization. The first approach is based on the Iterative Bregman Projections (IBP) algorithm for which our novel analysis gives a complexity bound proportional to $\frac{mn^2}{\varepsilon^2}$ to approximate the original non-regularized barycenter. Using an alternative accelerated-gradient-descent-based approach, we obtain a complexity proportional to $\frac{mn^{2.5}}{\varepsilon} $. As a byproduct, we show that the regularization parameter in both approaches has to be proportional to $\varepsilon$, which causes instability of both algorithms when the desired accuracy is high. To overcome this issue, we propose a novel proximal-IBP algorithm, which can be seen as a proximal gradient method, which uses IBP on each iteration to make a proximal step. We also consider the question of scalability of these algorithms using approaches from distributed optimization and show that the first algorithm can be implemented in a centralized distributed setting (master/slave), while the second one is amenable to a more general decentralized distributed setting with an arbitrary network topology.

연구 동기 및 목표

• m개의 크기가 n인 이산 확률 측도의 워샤프스타인 바리센터를 근사하는 데 필요한 계산 복잡도를 분석하는 것.
• 반복 브레만 프로젝션(IBP)과 가속화된 원시-이중 그래디언트 강하법을 기반으로 한 두 알고리즘을 비교하는 것.
• 비정규화된 바리센터를 근사할 때 ε-정확도를 확보하기 위해 정규화 매개변수 γ를 최적의 방식으로 선택하는 방법을 규명하는 것.
• 중앙집중형 및 분산형 분산 컴퓨팅 환경에서 두 알고리즘의 확장성 특성을 조사하는 것.
• 작은 정규화 매개변수 γ로 인해 발생하는 악영향을 완화하기 위해, IBP의 프록시멀 변형을 제안하는 것.

제안 방법

• 정규화된 워샤프스타인 바리센터 문제를 해결하기 위해 IBP 알고리즘을 분석하였으며, 수렴 속도 분석을 통해 ε-정확도 달성에 O(mn²/ε²)의 복잡도가 필요하다고 규명하였다.
• 가속화된 원시-이중 그래디언트 강하법을 제안하였으며, 이는 O(mn².⁵/ε)의 복잡도를 달성하여 IBP에 비해 지수 항에서 ε⁻¹의 개선을 이룬다.
• ε-정확도를 확보하기 위해 정규화 매개변수 γ가 ε 비례로 설정되어야 하며, 이는 고정밀도에서의 수치적 불안정성으로 이어진다.
• 프록시멀-IBP 알고리즘을 도입하여, IBP를 프록시멀 그래디언트 프레임워크 내의 프록시멀 단계로 재구성함으로써 수렴 안정성을 향상시켰다.
• 두 방법의 확장성은 분산 환경에서 분석되었으며, IBP는 중심집중형(마스터/슬레이브) 아키텍처에 적합한 반면, 가속화된 방법은 임의의 네트워크 토폴로지 지원이 가능하다.
• 그래프 스퍼스피케이션 기법을 사용하여 조건수 χ(W)와 통신 행렬의 비제로 원소 수를 제한함으로써 효율적인 분산 계산을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화를 사용한 반복 브레만 프로젝션(IBP) 알고리즘을 사용할 때 워샤프스타인 바리센터를 근사하는 데 필요한 계산 복잡도는 무엇인가요?
• RQ2 가속화된 그래디언트 강하법이 동일한 문제에 대해 IBP보다 더 나은 복잡도 상한을 달성할 수 있는가요?
• RQ3 비정규화된 바리센터를 근사할 때 ε-정확도를 확보하기 위해 엔트로피 정규화 매개변수 γ는 어떻게 선택해야 하는가요?
• RQ4 이러한 알고리즘의 분산 컴퓨팅 환경에서의 확장성 특성은 어떠한가요?
• RQ5 γ가 작아야 고정밀도 근사가 가능할 경우, IBP의 프록시멀 변형이 수치적 안정성을 향상시킬 수 있는가요?

주요 결과

• IBP 알고리즘은 ε-정확도를 달성하는 데 O(mn²/ε²)의 연산을 필요로 하며, 이는 각 반복에서 O(n²)의 기울기 계산이 지배적이다.
• 가속화된 원시-이중 그래디언트 강하법은 복잡도를 O(mn².⁵/ε)로 감소시켜, ε에 대한 의존성 측면에서 IBP에 비해 상당한 개선을 이룬다.
• ε-정확도를 확보하기 위해 정규화 매개변수 γ는 ε에 비례해야 하며, 이는 고정밀도에서 두 알고리즘 모두 수치적 불안정성을 유발한다.
• 제안된 프록시멀-IBP 알고리즘은 IBP를 프록시멀 단계로 재구성함으로써 불안정성을 완화함으로써 해를 안정화시킨다.
• IBP 방법은 O(1/ε²)회의 통신 라운드를 필요로 하는 중심집중형 분산 환경에 적합하며, 가속화된 방법은 O(√n/ε)회의 라운드를 지원하는 분산 네트워크를 지원한다.
• 그래프 스퍼스피케이션을 통해 통신 행렬을 압축할 수 있으며, 이에 따라 χ(W) = O(Poly(ln m)) 및 nnz(W) = O(m·Poly(ln m))로 제한되어 효율적인 분산 구현이 가능하다.