[論文レビュー] On the Complexity of Approximating Multimarginal Optimal Transport

Tianyi Lin, Nhat Ho+2 more|arXiv (Cornell University)|Sep 30, 2019

Complexity and Algorithms in Graphs参考文献 70被引用数 29

ひとこと要約

本稿では、保証された複雑性バウンドを備えた、マルチマージナル最適輸送（MOT）を近似する2つの決定的アルゴリズム—マルチマージナルSinkhornおよび加速マルチマージナルSinkhorn—を提案する。$m \geq 3$ の場合、標準的な線形計画法（LP）定式化は最小費用フロー問題ではないことが示され、ネットワークシンプレックスのような組合せ的アルゴリズムの使用が排除される。近似的に線形時間の複雑性 $\widetilde{O}(m^3 n^m \varepsilon^{-2})$ と、$\varepsilon$ に改善された依存性 $\widetilde{O}(m^3 n^{m+1/3} \varepsilon^{-4/3})$ が確立され、大規模なMOT問題においてGurobiを上回る性能を発揮する。

ABSTRACT

We study the complexity of approximating the multimarginal optimal transport (MOT) distance, a generalization of the classical optimal transport distance, considered here between $m$ discrete probability distributions supported each on $n$ support points. First, we show that the standard linear programming (LP) representation of the MOT problem is not a minimum-cost flow problem when $m \geq 3$. This negative result implies that some combinatorial algorithms, e.g., network simplex method, are not suitable for approximating the MOT problem, while the worst-case complexity bound for the deterministic interior-point algorithm remains a quantity of $ ilde{O}(n^{3m})$. We then propose two simple and extit{deterministic} algorithms for approximating the MOT problem. The first algorithm, which we refer to as extit{multimarginal Sinkhorn} algorithm, is a provably efficient multimarginal generalization of the Sinkhorn algorithm. We show that it achieves a complexity bound of $ ilde{O}(m^3n^m\varepsilon^{-2})$ for a tolerance $\varepsilon \in (0, 1)$. This provides a first extit{near-linear time} complexity bound guarantee for approximating the MOT problem and matches the best known complexity bound for the Sinkhorn algorithm in the classical OT setting when $m = 2$. The second algorithm, which we refer to as extit{accelerated multimarginal Sinkhorn} algorithm, achieves the acceleration by incorporating an estimate sequence and the complexity bound is $ ilde{O}(m^3n^{m+1/3}\varepsilon^{-4/3})$. This bound is better than that of the first algorithm in terms of $1/\varepsilon$, and accelerated alternating minimization algorithm~\citep{Tupitsa-2020-Multimarginal} in terms of $n$. Finally, we compare our new algorithms with the commercial LP solver extsc{Gurobi}. Preliminary results on synthetic data and real images demonstrate the effectiveness and efficiency of our algorithms.

研究の動機と目的

• $m \geq 3$ の分布に対するマルチマージナル最適輸送（MOT）を近似する際の計算複雑性を分析すること。
• $m \geq 3$ の場合、MOTの標準的線形計画法（LP）定式化が最小費用フロー問題でないことを示し、ネットワークシンプレックスのような組合せ的アルゴリズムの使用を排除すること。
• 既存の手法よりも優れた複雑性バウンドを備えた、保証された効率性を持つ決定的アルゴリズムを設計し、MOTを近似すること。
• 合成データおよび実画像に対して提案されたアルゴリズムを評価し、大規模な設定においてGurobiのような商用ソルバーを上回ることを示すこと。

提案手法

• エントロピー正則化を用いて、古典的Sinkhornアルゴリズムの決定的一般化として、マルチマージナルSinkhornアルゴリズムを提案する。
• MOT距離における $\varepsilon$-精度を達成するための複雑性バウンド $\widetilde{O}(m^3 n^m \varepsilon^{-2})$ を導出する。
• 推定列を組み込むことで、加速マルチマージナルSinkhornアルゴリズムを導入し、$\varepsilon$ 依存性を $\varepsilon^{-4/3}$ に低減する。
• 正則化された解を $\varepsilon$-近似MOT計画に変換するための新しいラウンド方式を採用する。
• 反復的スケーリングによる効率的最適化を可能にするために、エントロピー正則化MOT問題をサーヴィレートとして用いる。
• マルチマージナルGANやフリー・サポート Wasserstein バリオセントラなどへの応用を想定し、MOTの双対定式化を採用する。

実験結果

リサーチクエスチョン

• RQ1 $m \geq 3$ の場合、マルチマージナル最適輸送の標準的線形計画法定式化は最小費用フロー問題と同等であるか？
• RQ2 保証された複雑性保証を備えた、決定的で効率的なアルゴリズムをMOT近似用に設計できるか？
• RQ3 決定的MOT近似アルゴリズムにおいて、$\varepsilon$ および $n$ に対する最良の達成可能な依存性は何か？
• RQ4 エントロピー正則化と加速技術は、MOTソルバーの収束性および複雑性をどのように向上させるか？
• RQ5 これらのアルゴリズムは、大規模なMOT問題においてGurobiのような商用LPソルバーを上回ることができるか？

主な発見

• $m \geq 3$ の場合、MOTの標準的LP定式化は最小費用フロー問題ではないため、ネットワークシンプレックスのような組合せ的アルゴリズムの使用は不適切である。
• マルチマージナルSinkhornアルゴリズムは、$\widetilde{O}(m^3 n^m \varepsilon^{-2})$ の複雑性バウンドを達成し、MOT近似における最初の近似的線形時間保証を提供する。
• 加速マルチマージナルSinkhornアルゴリズムは、$\varepsilon$ 依存性を $\varepsilon^{-4/3}$ に低減し、$\varepsilon$ において標準Sinkhornを上回り、$n$ においても先行する加速手法を上回る。
• 合成データおよびMNIST画像データにおいて、提案されたアルゴリズムはGurobiをランタイムおよびスケーラビリティの面で上回り、$n^m$ が大きくなりGurobiがメモリ不足に陥る場合に顕著である。
• これらのアルゴリズムは、高品質なフリー・サポート Wasserstein バリオセントラを効果的に計算でき、既存の最先端手法と実用的に競合可能であることを示した。