[論文レビュー] Computational Hardness and Fast Algorithm for Fixed-Support Wasserstein Barycenter

Tianyi Lin, Nhat Ho+3 more|arXiv (Cornell University)|Feb 12, 2020

Geometric Analysis and Curvature Flows参考文献 4被引用数 3

ひとこと要約

本稿では、m ≥ 3 かつ n ≥ 3 の場合、固定サポート Wasserstein バリオセントラ問題（FS-WBP）が、制約行列の非全単調性のため最小費用流問題に還元されないことを確立している。また、ε および n の観点で既存の境界を改善する Õ(mn^{7/3}ε^{-4/3}) の複雑さを有する、決定的かつ理論的に高速な反復 Bregman 投影法の変種である FastIBP を提案する。

ABSTRACT

We study in this paper the fixed-support Wasserstein barycenter problem (FS-WBP), which consists in computing the Wasserstein barycenter of $m$ discrete probability measures supported on a finite metric space of size $n$. We show first that the constraint matrix arising from the standard linear programming (LP) representation of the FS-WBP is $ extit{not totally unimodular}$ when $m \geq 3$ and $n \geq 3$. This result answers an open question pertaining to the relationship between the FS-WBP and the minimum-cost flow (MCF) problem since it therefore proves that the FS-WBP in the standard LP form is not a MCF problem when $m \geq 3$ and $n \geq 3$. We also develop a provably fast extit{deterministic} variant of the celebrated iterative Bregman projection (IBP) algorithm, named extsc{FastIBP} algorithm, with the complexity bound of $\widetilde{O}(mn^{7/3}\varepsilon^{-4/3})$ where $\varepsilon \in (0, 1)$ is the tolerance. This complexity bound is better than the best known complexity bound of $\widetilde{O}(mn^2\varepsilon^{-2})$ from the IBP algorithm in terms of $\varepsilon$, and that of $\widetilde{O}(mn^{5/2}\varepsilon^{-1})$ from other accelerated algorithms in terms of $n$. Finally, we conduct extensive experiments with both synthetic and real data and demonstrate the favorable performance of the extsc{FastIBP} algorithm in practice.

研究の動機と目的

• 固定サポート Wasserstein バリオセントラ問題（FS-WBP）が最小費用流（MCF）問題に還元可能かどうかという未解決の問題を解明すること。
• m ≥ 3 かつ n ≥ 3 の場合、FS-WBP の標準的線形計画法（LP）定式化の制約行列が全単調でないため、MCF 問題に還元されないことを立証すること。
• より優れた理論的複雑さ境界を有する、より高速で決定的なアルゴリズムを設計して FS-WBP を解くこと。
• 合成データおよび実世界のデータセット上で提案アルゴリズムの性能を実験的に検証すること。

提案手法

• m ≥ 3 かつ n ≥ 3 の場合、FS-WBP の標準的 LP 定式化の制約行列が全単調でないことを証明することで、最小費用流への還元が不可能であることを示す。
• 減衰付き Bregman 投影と適応的ステップサイズを活用して、反復 Bregman 投影（IBP）法の新規な決定的変種である FastIBP を設計する。
• FastIBP の複雑さ境界を Õ(mn^{7/3}ε^{-4/3}) として導出する。これは、標準 IBP の既存の最良境界 Õ(mn^2ε^{-2}) よりも ε に関して改善されている。
• 滑らか化技術と双対性に基づく解析を用いて、提示された複雑さ境界で収束を保証する。
• 効率的な線形代数演算および投影スキームを実装・最適化することで、実用的性能を向上させる。
• 合成データおよび実データを用いた広範な実験を通じて、FastIBP と既存のアルゴリズムとの実行時間および精度の面で比較する。

実験結果

リサーチクエスチョン

• RQ1 m ≥ 3 かつ n ≥ 3 の場合、固定サポート Wasserstein バリオセントラ問題（FS-WBP）は最小費用流問題と同値か？
• RQ2 既存手法よりも優れた複雑さ境界を有する、決定的かつ理論的に高速なアルゴリズムを FS-WBP に対して設計可能か？
• RQ3 FS-WBP を解く際の、精度（ε）と計算複雑さの最適なトレードオフは何か？
• RQ4 提案された FastIBP アルゴリズムは、最先端のソルバーと比較して実際の性能で優れているか？

主な発見

• m ≥ 3 かつ n ≥ 3 の場合、FS-WBP の標準的 LP 定式化の制約行列は全単調でないため、この条件下では FS-WBP は最小費用流問題に還元されないことが証明された。
• 提案された FastIBP アルゴリズムは、複雑さ境界 Õ(mn^{7/3}ε^{-4/3}) を達成しており、標準 IBP の既存の最良境界 Õ(mn^2ε^{-2}) よりも ε に関して改善されている。
• 加速アルゴリズムの既存の最良境界 Õ(mn^{5/2}ε^{-1}) よりも n に関して改善されており、サポートサイズ n に対するスケーラビリティが優れていることが示された。
• 合成データおよび実データを用いた広範な実験により、FastIBP は実行時間および収束速度の面で既存手法を上回ることが確認され、実用的効率性が裏付けられた。