[論文レビュー] Fixed-Support Wasserstein Barycenters: Computational Hardness and Fast Algorithm

Tianyi Lin, Nhat Ho+3 more|arXiv (Cornell University)|Feb 12, 2020

Geometric Analysis and Curvature Flows参考文献 62被引用数 18

ひとこと要約

本稿では、$ m \geq 3 $ および $ n \geq 3 $ の場合、固定サポート Wasserstein バリオセントラ問題（FS-WBP）が最小コストフロー（MCF）手法によって解くことにおいて計算的に困難であることを示している。これは制約行列が完全単位モジュラーでないためである。本稿では、反復 Bregman 投影法のより速い決定的バージョンである FastIBP を提案し、$ \widetilde{O}(mn^{7/3}\varepsilon^{-4/3}) $ の複雑さの境界を確立した。これは、$ \varepsilon $ と $ n $ の両面で既存手法を上回っている。

ABSTRACT

We study the fixed-support Wasserstein barycenter problem (FS-WBP), which consists in computing the Wasserstein barycenter of $m$ discrete probability measures supported on a finite metric space of size $n$. We show first that the constraint matrix arising from the standard linear programming (LP) representation of the FS-WBP is extit{not totally unimodular} when $m \geq 3$ and $n \geq 3$. This result resolves an open question pertaining to the relationship between the FS-WBP and the minimum-cost flow (MCF) problem since it proves that the FS-WBP in the standard LP form is not an MCF problem when $m \geq 3$ and $n \geq 3$. We also develop a provably fast extit{deterministic} variant of the celebrated iterative Bregman projection (IBP) algorithm, named extsc{FastIBP}, with a complexity bound of $ ilde{O}(mn^{7/3}\varepsilon^{-4/3})$, where $\varepsilon \in (0, 1)$ is the desired tolerance. This complexity bound is better than the best known complexity bound of $ ilde{O}(mn^2\varepsilon^{-2})$ for the IBP algorithm in terms of $\varepsilon$, and that of $ ilde{O}(mn^{5/2}\varepsilon^{-1})$ from accelerated alternating minimization algorithm or accelerated primal-dual adaptive gradient algorithm in terms of $n$. Finally, we conduct extensive experiments with both synthetic data and real images and demonstrate the favorable performance of the extsc{FastIBP} algorithm in practice.

研究の動機と目的

• 固定サポート Wasserstein バリオセントラ問題（FS-WBP）が、標準的な線形計画法形式の最小コストフロー（MCF）問題に還元可能かどうかという未解決の問題を解消すること。
• 特に $ m \geq 3 $ および $ n \geq 3 $ の大規模問題に対して、より速く決定的なアルゴリズムを構築すること。
• $ \varepsilon $ および $ n $ の観点から、既存の反復 Bregman 投影（IBP）および加速アルゴリズムの理論的複雑さ境界を改善すること。
• 合成データおよび MNIST などの実世界の画像データセット上で、提案された FastIBP アルゴリズムの性能を実験的に検証すること。

提案手法

• 標準的な LP 形式における FS-WBP の制約行列が $ m \geq 3 $ および $ n \geq 3 $ の場合に完全単位モジュラーでないことを証明し、MCF の再定式化を排除する。
• 反復 Bregman 投影（IBP）アルゴリズムの決定的バージョンである FastIBP を提案し、収束を改善するための新しいステップサイズ選択戦略を用いる。
• FastIBP の理論的複雑さ境界を $ \widetilde{O}(mn^{7/3}\varepsilon^{-4/3}) $ として確立し、$ \varepsilon $ の観点から標準 IBP の $ \widetilde{O}(mn^{2}\varepsilon^{-2}) $ の境界を改善する。
• 最近の最適輸送における加速勾配法の進展を活用して、原双対フレームワークを用いて複雑さ境界を導出する。
• FastIBP を実装し、合成データおよび MNIST 画像に対して評価し、Gurobi や標準 IBP と比較して目的値、妥当性、実行時間を評価する。
• $ m $ および $ \varepsilon $ を変化させたアブレーションスタディを実施し、FastIBP が $ m $ に対して線形にスケーリングされ、$ \varepsilon $ に対して優れた収束を示すことを確認する。

実験結果

リサーチクエスチョン

• RQ1 $ m \geq 3 $ および $ n \geq 3 $ の場合、固定サポート Wasserstein バリオセントラ問題（FS-WBP）は、標準的な LP 形式における最小コストフロー（MCF）問題と同等であるか？
• RQ2 反復 Bregman 投影（IBP）の決定的バージョンは、$ \varepsilon $ および $ n $ の観点から、既存の加速手法よりも優れた複雑さ境界を達成可能か？
• RQ3 提案された FastIBP アルゴリズムは、大規模および実世界のデータセットにおいて、標準 IBP や Gurobi のような商業的ソルバーと比較して、実行時間および解の品質の両面で優れているか？
• RQ4 双対シンプレックス法は理論的保証があるにもかかわらず、なぜ FS-WBP では性能が低かったのか。これは問題の構造的困難さとどのように関係しているか？

主な発見

• 標準的な LP 形式における FS-WBP の制約行列は、$ m \geq 3 $ および $ n \geq 3 $ の場合に完全単位モジュラーでないことが示され、この範囲では FS-WBP が最小コストフロー問題ではないことが証明された。
• FastIBP は $ \widetilde{O}(mn^{7/3}\varepsilon^{-4/3}) $ の複雑さ境界を達成し、$ \varepsilon $ の観点から標準 IBP の $ \widetilde{O}(mn^{2}\varepsilon^{-2}) $ の境界を改善した。
• FastIBP は $ n $ 依存性の観点から、加速プライマル・デュアルおよび交互最小化手法の $ \widetilde{O}(mn^{5/2}\varepsilon^{-1}) $ の複雑さ境界を上回っている。
• $ n=100 $ の合成データにおいて、FastIBP は $ m $ に対して線形にスケーリングされるのに対し、Gurobi の実行時間ははるかに速く増加するため、FastIBP のアルゴリズム的優位性が裏付けられた。
• MNIST において、$ \eta = 0.001 $ の条件下で、FastIBP は標準 IBP よりもシャープなバリオセントラを生成し、視覚的忠実度の高い解が得られることを示した。
• 同じ実験において、Gurobi の妥当性違反は FastIBP よりも悪く、Gurobi の実行時間は線形より速く増加しており、双対シンプレックス法が FS-WBP に対して構造的に非効率であることが示唆された。