[논문 리뷰] Computational Hardness and Fast Algorithm for Fixed-Support Wasserstein Barycenter

Tianyi Lin, Nhat Ho외 3명|arXiv (Cornell University)|2020. 02. 12.

Geometric Analysis and Curvature Flows참고 문헌 4인용 수 3

한 줄 요약

이 논문은 m ≥ 3 및 n ≥ 3일 때 고정 지지력 워샤르스타인 바리센터 문제(FS-WBP)가 제약 행렬의 비전체 단조성으로 인해 최소비용 유량 문제로 귀결되지 않음을 입증한다. 이는 기존의 ε 및 n에 대한 복잡도 상한보다 개선된 Õ(mn^{7/3}ε^{-4/3}) 복잡도 상한을 가진 결정론적이고 증명 가능한 빠른 알고리즘인 FastIBP를 제안한다.

ABSTRACT

We study in this paper the fixed-support Wasserstein barycenter problem (FS-WBP), which consists in computing the Wasserstein barycenter of $m$ discrete probability measures supported on a finite metric space of size $n$. We show first that the constraint matrix arising from the standard linear programming (LP) representation of the FS-WBP is $ extit{not totally unimodular}$ when $m \geq 3$ and $n \geq 3$. This result answers an open question pertaining to the relationship between the FS-WBP and the minimum-cost flow (MCF) problem since it therefore proves that the FS-WBP in the standard LP form is not a MCF problem when $m \geq 3$ and $n \geq 3$. We also develop a provably fast extit{deterministic} variant of the celebrated iterative Bregman projection (IBP) algorithm, named extsc{FastIBP} algorithm, with the complexity bound of $\widetilde{O}(mn^{7/3}\varepsilon^{-4/3})$ where $\varepsilon \in (0, 1)$ is the tolerance. This complexity bound is better than the best known complexity bound of $\widetilde{O}(mn^2\varepsilon^{-2})$ from the IBP algorithm in terms of $\varepsilon$, and that of $\widetilde{O}(mn^{5/2}\varepsilon^{-1})$ from other accelerated algorithms in terms of $n$. Finally, we conduct extensive experiments with both synthetic and real data and demonstrate the favorable performance of the extsc{FastIBP} algorithm in practice.

연구 동기 및 목표

• 고정 지지력 워샤르스타인 바리센터 문제(FS-WBP)가 최소비용 유량(MCF) 문제로 귀결되는지 여부에 대한 열린 질문을 해결하기 위해.
• m ≥ 3 및 n ≥ 3일 때 제약 행렬의 비전체 단조성으로 인해 표준 선형계획법(FS-WBP) 공식화가 MCF 문제로 귀결되지 않음을 입증하기 위해.
• 더 나은 이론적 복잡도 상한을 가진 더 빠른 결정론적 알고리즘을 개발하기 위해.
• 합성 및 실세계 데이터 세트에서 제안된 알고리즘의 성능을 경험적으로 검증하기 위해.

제안 방법

• m ≥ 3 및 n ≥ 3일 때 FS-WBP의 표준 선형계획법 공식화의 제약 행렬이 전연단조적이지 않음을 증명함으로써, 최소비용 유량 문제로의 귀결이 불가능함을 입증한다.
• 감쇠된 브레르만 사영과 적응형 스텝 크기를 활용하여, 반복 브레르만 사영(IBP) 알고리즘의 새로운 결정론적 변종인 FastIBP를 설계한다.
• FastIBP의 복잡도 상한을 Õ(mn^{7/3}ε^{-4/3})으로 유도하며, 기존의 표준 IBP 알고리즘에 비해 ε에 대해 개선된 복잡도 상한을 확보한다.
• 부드럽게 처리한 기법과 쌍대성 기반 분석을 사용하여 제시된 복잡도 상한을 확보하는 수렴을 보장한다.
• 효율적인 선형 대수 연산과 사영 기법을 구현 및 최적화하여 실용적 성능을 향상시킨다.
• 합성 및 실세계 데이터에 대해 광범위한 실험을 수행하여 런타임 및 정확도 측면에서 기존 알고리즘과 FastIBP를 비교한다.

실험 결과

연구 질문

• RQ1 m ≥ 3 및 n ≥ 3일 때 고정 지지력 워샤르스타인 바리센터 문제(FS-WBP)가 최소비용 유량 문제와 동치인가?
• RQ2 기존 방법보다 더 나은 복잡도 상한을 가진 결정론적이고 증명 가능한 빠른 알고리즘을 FS-WBP에 대해 설계할 수 있는가?
• RQ3 FS-WBP를 해결할 때 정확도(ε)와 계산 복잡도 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 제안된 FastIBP 알고리즘이 최신 솔버들과 비교해 실질적으로 어떻게 성능을 발휘하는가?

주요 결과

• m ≥ 3 및 n ≥ 3일 때 표준 선형계획법 공식화의 제약 행렬이 전연단조적이지 않음을 입증함으로써, 이 조건 하에서 FS-WBP가 최소비용 유량 문제로 귀결되지 않음을 증명한다.
• 제안된 FastIBP 알고리즘은 Õ(mn^{7/3}ε^{-4/3})의 복잡도 상한을 달성하며, 기존 표준 IBP 알고리즘의 최고 알려진 상한 Õ(mn^2ε^{-2})에 비해 ε에 대해 개선된 복잡도 상한을 확보한다.
• 가속 알고리즘의 최고 알려진 상한 Õ(mn^{5/2}ε^{-1})에 비해 n에 대해 개선된 복잡도 상한을 확보함으로써, 지지력 크기 n에 대한 우수한 확장성(스케일러빌리티)을 입증한다.
• 합성 및 실세계 데이터에 대한 광범위한 실험 결과, FastIBP가 런타임 및 수렴 속도 측면에서 기존 방법들을 능가함을 확인하여 실용적 효율성을 입증한다.