[논문 리뷰] Fixed-Support Wasserstein Barycenters: Computational Hardness and Fast Algorithm

Tianyi Lin, Nhat Ho외 3명|arXiv (Cornell University)|2020. 02. 12.

Geometric Analysis and Curvature Flows참고 문헌 62인용 수 18

한 줄 요약

이 논문은 $ m \geq 3 $ 및 $ n \geq 3 $ 인 경우 고정 지지체 워샤르스타인 바리센터 문제(FS-WBP)가 최소비용 유량 방법을 통해 계산적으로 해결하기 어려운 것으로 규명한다. 이는 제약 행렬이 전순위단조형이 아니기 때문이다. 본 논문은 $ \widetilde{O}(mn^{7/3}\varepsilon^{-4/3}) $ 복잡도 bound를 가진, 증명 가능하게 더 빠른 결정적 변종인 FastIBP를 제안하며, 이는 기존 방법들에 비해 $ \varepsilon $-의존성과 $ n $-의존성 측면에서 뛰어나다.

ABSTRACT

We study the fixed-support Wasserstein barycenter problem (FS-WBP), which consists in computing the Wasserstein barycenter of $m$ discrete probability measures supported on a finite metric space of size $n$. We show first that the constraint matrix arising from the standard linear programming (LP) representation of the FS-WBP is extit{not totally unimodular} when $m \geq 3$ and $n \geq 3$. This result resolves an open question pertaining to the relationship between the FS-WBP and the minimum-cost flow (MCF) problem since it proves that the FS-WBP in the standard LP form is not an MCF problem when $m \geq 3$ and $n \geq 3$. We also develop a provably fast extit{deterministic} variant of the celebrated iterative Bregman projection (IBP) algorithm, named extsc{FastIBP}, with a complexity bound of $ ilde{O}(mn^{7/3}\varepsilon^{-4/3})$, where $\varepsilon \in (0, 1)$ is the desired tolerance. This complexity bound is better than the best known complexity bound of $ ilde{O}(mn^2\varepsilon^{-2})$ for the IBP algorithm in terms of $\varepsilon$, and that of $ ilde{O}(mn^{5/2}\varepsilon^{-1})$ from accelerated alternating minimization algorithm or accelerated primal-dual adaptive gradient algorithm in terms of $n$. Finally, we conduct extensive experiments with both synthetic data and real images and demonstrate the favorable performance of the extsc{FastIBP} algorithm in practice.

연구 동기 및 목표

• 고정 지지체 워샤르스타인 바리센터 문제(FS-WBP)가 표준 선형계획형태의 최소비용 유량(MCF) 문제로 환원될 수 있는지 여부에 대한 열린 질문을 해결하기 위해.
• 특히 $ m \geq 3 $ 및 $ n \geq 3 $ 인 경우 대규모 문제에 대해 증명 가능하게 더 빠르고 결정적인 알고리즘을 개발하기 위해.
• 기존의 반복 브레그만 프로젝션(IBP) 및 가속화된 알고리즘의 이론적 복잡도 bound를 $ \varepsilon $ 및 $ n $ 측면에서 향상시키기 위해.
• 합성 데이터 및 MNIST와 같은 실제 이미지 데이터셋에서 제안된 FastIBP 알고리즘의 성능을 실험적으로 검증하기 위해.

제안 방법

• 표준 선형계획형태로 표현된 FS-WBP의 제약 행렬이 $ m \geq 3 $ 및 $ n \geq 3 $ 인 경우 전순위단조형이 아니라는 것을 증명함으로써, MCF 재형식화가 불가능함을 규명한다.
• 새로운 스텝 사이즈 선택 전략을 사용하여 수렴성을 향상시킨 반복 브레그만 프로젝션(IBP) 알고리즘의 결정적 변종인 FastIBP를 제안한다.
• FastIBP의 이론적 복잡도 bound를 $ \widetilde{O}(mn^{7/3}\varepsilon^{-4/3}) $ 로 설정하며, 이는 표준 IBP의 $ \widetilde{O}(mn^{2}\varepsilon^{-2}) $ bound 보다 $ \varepsilon $ 측면에서 향상됨을 보여준다.
• 최근 최적 운반 문제를 위한 가속화된 경사 하강 방법의 발전을 활용하여, 원본-이중 프레임워크를 통해 복잡도 bound를 유도한다.
• FastIBP를 합성 데이터 및 MNIST 이미지에 구현하고, Gurobi 및 표준 IBP와의 비교를 통해 목적 함수 값, 타당성, 실행 시간을 평가한다.
• 다양한 $ m $ 및 $ \varepsilon $ 조건에서의 분석 실험을 수행하여, FastIBP가 $ m $ 에 대해 선형 스케일링되며 $ \varepsilon $ 에 대해 뛰어난 수렴 성능를 보임을 입증한다.

실험 결과

연구 질문

• RQ1 고정 지지체 워샤르스타인 바리센터 문제(FS-WBP)가 $ m \geq 3 $ 및 $ n \geq 3 $ 인 경우 표준 선형계획형태로 표현된 최소비용 유량(MCF) 문제와 동치인가?
• RQ2 반복 브레그만 프로젝션(IBP) 알고리즘의 결정적 변종이 $ \varepsilon $ 및 $ n $ 측면에서 기존의 가속화된 방법보다 더 나은 복잡도 bound를 달성할 수 있는가?
• RQ3 제안된 FastIBP 알고리즘이 대규모 및 실제 데이터셋에서 표준 IBP 및 Gurobi와 같은 상용 솔버에 비해 실행 시간과 해의 품질 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 이론적으로 보장된 성능를 지닌 싱글레 경사 하강법이 FS-WBP에서 빈약하게 작동하는 이유는 무엇이며, 이는 문제의 구조적 난이도와 어떻게 관련되는가?

주요 결과

• 고정 지지체 워샤르스타인 바리센터 문제(FS-WBP)의 표준 선형계획형태 제약 행렬은 $ m \geq 3 $ 및 $ n \geq 3 $ 인 경우 전순위단조형이 아니며, 이는 이 영역에서 FS-WBP가 최소비용 유량 문제로 간주될 수 없음을 증명한다.
• FastIBP는 $ \widetilde{O}(mn^{7/3}\varepsilon^{-4/3}) $ 의 복잡도 bound를 달성하며, 이는 $ \varepsilon $ 측면에서 표준 IBP의 $ \widetilde{O}(mn^{2}\varepsilon^{-2}) $ bound 보다 향상됨을 보여준다.
• FastIBP는 $ n $-의존성 측면에서 가속화된 원본-이중 및 교대 최소화 방법의 $ \widetilde{O}(mn^{5/2}\varepsilon^{-1}) $ 복잡도 bound 보다 뛰어나다.
• 합성 데이터($ n=100 $)에서 FastIBP는 $ m $ 에 대해 선형적으로 스케일링되며, Gurobi의 실행 시간은 훨씬 더 빠르게 증가함을 확인하여 FastIBP의 알고리즘적 우수성을 입증한다.
• MNIST 데이터셋에서 FastIBP는 $ \eta = 0.001 $ 인 경우 표준 IBP보다 더 선명한 바리센터를 생성하여 더 높은 시각적 정확도를 지닌 고품질 해를 제공함을 나타낸다.
• 유사한 실험에서 Gurobi의 타당성 위반 정도는 FastIBP보다 열악하며, Gurobi의 실행 시간은 선형보다 더 빠르게 증가함을 확인하여, 이중 싱글레 경사 하강법이 FS-WBP에 대해 구조적으로 비효율적임을 시사한다.