[논문 리뷰] A Fast Globally Linearly Convergent Algorithm for the Computation of Wasserstein Barycenters

Yang Lei, Jia Li외 2명|PolyU Institutional Research Archive (Hong Kong Polytechnic University)|2018. 09. 12.

Image and Signal Denoising Methods참고 문헌 42인용 수 12

한 줄 요약

이 논문은 엔트로피 정규화 없이 이산 확률 분포의 워셔스타인 바리센터를 계산하기 위한 빠르고 전역적으로 선형 수렴하는 알고리즘을 제안한다. 선형 프로그래밍 설정의 이중 구조를 활용하여 정확하고 효율적인 부분 문제 해결을 달성함으로써, 수렴 보장과 함께 대규모 데이터셋에서 고정밀도 계산을 가능하게 한다.

ABSTRACT

We consider the problem of computing a Wasserstein barycenter for a set of discrete probability distributions with finite supports, which finds many applications in areas such as statistics, machine learning and image processing. When the support points of the barycenter are pre-specified, this problem can be modeled as a linear programming (LP) problem whose size can be extremely large. To handle this large-scale LP, we analyse the structure of its dual problem, which is conceivably more tractable and can be reformulated as a well-structured convex problem with 3 kinds of block variables and a coupling linear equality constraint. We then adapt a symmetric Gauss-Seidel based alternating direction method of multipliers (sGS-ADMM) to solve the resulting dual problem and establish its global convergence and global linear convergence rate. As a critical component for efficient computation, we also show how all the subproblems involved can be solved exactly and efficiently. This makes our method suitable for computing a Wasserstein barycenter on a large-scale data set, without introducing an entropy regularization term as is commonly practiced. In addition, our sGS-ADMM can be used as a subroutine in an alternating minimization method to compute a barycenter when its support points are not pre-specified. Numerical results on synthetic data sets and image data sets demonstrate that our method is highly competitive for solving large-scale Wasserstein barycenter problems, in comparison to two existing representative methods and the commercial software Gurobi.

연구 동기 및 목표

• 이산 확률 분포의 워셔스타인 바리센터를 계산하기 위한 효율적이고 고정밀도 알고리즘을 개발하는 것.
• 기존 방법에서 엔트로피 정규화로 인해 발생하는 수치적 불안정성과 블러 효과를 피하는 것.
• 선형 프로그래밍 설정의 이중 구조를 활용하여 대규모 문제를 처리하는 것.
• 제안된 sGS-ADMM 방법에 대해 전역 수렴성과 전역 선형 수렴 속도를 확립하는 것.
• ADMM 프레임워크 내에서 부분 문제를 정확하고 효율적으로 해결함으로써 계산 성능을 향상시키는 것.

제안 방법

• 워셔스타인 바리센터 문제를 세 개의 블록 변수와 결합 등식 제약 조건을 가진 이중 선형 프로그래밍 문제로 재구성한다.
• 이중 문제를 해결하기 위해 대칭 가우스세이델 기반 ADMM(sGS-ADMM)를 적용하여 전역 수렴성과 전역 선형 수렴 속도를 보장한다.
• sGS-ADMM의 모든 부분 문제는 문제의 구조에서 유도된 닫힌 형태의 표현식을 사용하여 정확하고 효율적으로 해결된다.
• 알고리즘은 엔트로피 정규화를 회피하여 운반 계획의 정확성을 유지하고 수치적 불안정성을 방지한다.
• 지원점이 사전에 지정되지 않은 경우, 바리센터 계산을 위한 교차 최소화 프레임워크에 이 방법을 서브루틴으로 통합한다.
• 이 방법은 대규모 데이터셋에 대해 메모리 효율적이고 확장 가능하도록 설계되었으며, 반복당 계산 복잡도는 O(m∑ₜmₜ)로 지배된다.

(a) Distributions and barycenters

실험 결과

연구 질문

• RQ1 엔트로피 정규화 없이도 전역 수렴성과 선형 수렴성을 확보할 수 있는 워셔스타인 바리센터 계산 알고리즘을 개발할 수 있는가?
• RQ2 선형 프로그래밍 설정의 이중 구조는 어떻게 활용하여 효율적이고 정확한 부분 문제 해결을 가능하게 하는가?
• RQ3 IBP와 같은 엔트로피 정규화 방법 및 Gurobi와 같은 상용 솔버와 비교할 때 제안된 sGS-ADMM 방법의 계산 성능는 어떠한가?
• RQ4 대규모 데이터셋에 대해 효율적으로 확장되면서도 높은 정밀도를 유지할 수 있는가?
• RQ5 엔트로피 정규화가 없을 경우 운반 계획의 품질과 해석 가능성은 어떻게 영향을 받는가?

주요 결과

• 제안된 sGS-ADMM 방법은 워셔스타인 바리센터 계산의 이중 문제에 대해 전역 수렴성과 전역 선형 수렴 속도를 확보한다.
• sGS-ADMM의 모든 부분 문제는 닫힌 형태의 해를 사용하여 정확하고 효율적으로 해결되며, 반복적 해법을 피하고 계산 오버헤드를 감소시킨다.
• 이 방법은 엔트로피 정규화 없이 정확한 워셔스타인 바리센터를 계산하여 정규화된 방법에서 관찰되는 운반 계획의 블러 현상을 방지한다.
• 합성 및 이미지 데이터셋에 대한 수치 실험 결과, 이 방법은 두 가지 대표적 방법과 상용 솔버 Gurobi보다 정밀도와 효율성 면에서 뛰어나다.
• 작은 정규화 파rameter에서도 IBP가 느린 수렴과 수치적 불안정성에 시달리는 것과는 달리, 이 방법은 높은 정밀도를 유지한다.
• 반복당 계산 비용은 O(m∑ₜmₜ)이며, 효율적인 부분 문제 해결 덕분에 대규모 문제에 대해 잘 확장된다.

(b) Transport plans for $n=500$