[論文レビュー] Towards Optimal Running Times for Optimal Transport

José Blanchet, Arun Jambulapati+2 more|arXiv (Cornell University)|Oct 17, 2018

Complexity and Algorithms in Graphs被引用数 4

ひとこと要約

本稿では、離散確率分布間の最適輸送距離を $Ϫ(n^2 \|C\|_{\infty}/\epsilon)$ 時間で近似する2つの新しいアルゴリズムを提示している。これにより、先行研究の境界が改善された。最適輸送問題をパッキング線形計画問題と行列バランス化問題に還元することで、より高速でほぼ線形時間の計算量を達成し、さらなる改善が二部マッチングアルゴリズムの分野における飛躍的進歩を意味することを示した。

ABSTRACT

In this work, we provide faster algorithms for approximating the optimal transport distance, e.g. earth mover's distance, between two discrete probability distributions $μ, ν\in Δ^n$. Given a cost function $C : [n] imes [n] o \mathbb{R}_{\geq 0}$ where $C(i,j) \leq 1$ quantifies the penalty of transporting a unit of mass from $i$ to $j$, we show how to compute a coupling $X$ between $r$ and $c$ in time $\widetilde{O}\left(n^2 /ε ight)$ whose expected transportation cost is within an additive $ε$ of optimal. This improves upon the previously best known running time for this problem of $\widetilde{O}\left( ext{min}\left\{ n^{9/4}/ε, n^2/ε^2 ight\} ight)$. We achieve our results by providing reductions from optimal transport to canonical optimization problems for which recent algorithmic efforts have provided nearly-linear time algorithms. Leveraging nearly linear time algorithms for solving packing linear programs and for solving the matrix balancing problem, we obtain two separate proofs of our stated running time. Further, one of our algorithms is easily parallelized and can be implemented with depth $\widetilde{O}(1/ε)$. Moreover, we show that further algorithmic improvements to our result would be surprising in the sense that any improvement would yield an $o(n^{2.5})$ algorithm for extit{maximum cardinality bipartite matching}, for which currently the only known algorithms for achieving such a result are based on fast-matrix multiplication.

研究の動機と目的

• 機械学習および統計的応用における最適輸送距離を計算するためのより高速なアルゴリズムの必要性に対応する。
• 離散的最適輸送問題に対する $\epsilon$-最適解を計算するための、これまでに知られている最良の実行時間の改善を図る。
• 理論的コンピュータ科学における標準的問題に対するほぼ線形時間アルゴリズムを活用する還元ベースのアプローチを提供する。
• 提案された実行時間のさらなる改善が、最大基数二部マッチング問題に対する $o(n^{2.5})$ アルゴリズムを意味することを示す。
• シリアルおよび並列アルゴリズムの両方の改善を達成し、並列バージョンの深さを $\widetilde{O}(\|C\|_{\infty}/\epsilon)$ にした。

提案手法

• 最適輸送問題をパッキング線形計画問題（PLP）に還元し、PLPのほぼ線形時間解法を用いて1つのアルゴリズムを構築する。
• 最適輸送問題を行列バランス化問題に還元し、ほぼ線形時間の行列バランス化解法を用いて2番目のアルゴリズムを構築する。
• ブラックボックス還元フレームワークを用いて、最適輸送問題を最新の反復的解法で解ける形式に変換する。
• 確率的解を整数マッチングに変換するための確率的および決定的丸め技法を適用し、誤差を有界に保つ。
• パッキングLPおよび行列バランス化の既知のほぼ線形時間アルゴリズムを活用することで、最終的な計算量の境界を達成する。
• ハードネス還元を用いて、$\widetilde{O}(n^2 \|C\|_{\infty}/\epsilon)$ を超える改善が、最大基数二部マッチング問題に対する $o(n^{2.5})$ アルゴリズムを意味することを示した。

実験結果

リサーチクエスチョン

• RQ1 現在知られている最良の $\widetilde{O}(\min\{n^{9/4}\sqrt{\|C\|_{\infty}}/\epsilon, n^2\|C\|_{\infty}/\epsilon^2\})$ を超えて、$\epsilon$-最適な最適輸送解の計算時間の改善は可能か？
• RQ2 パッキングLPや行列バランス化といった標準的問題に還元することで、最適輸送にほぼ線形時間アルゴリズムを達成することは可能か？
• RQ3 最適輸送の計算複雑度の改善と、二部マッチングアルゴリズム分野における飛躍的進歩との関係は何か？
• RQ4 提案されたアルゴリズムは効率的に並列化可能か？ 並列深さはどの程度達成可能か？
• RQ5 パッキングLPと行列バランス化への還元は、計算量および実用性の観点からどのように比較できるか？

主な発見

• 本稿では、$\epsilon$-最適な輸送結合を計算するための実行時間を $\widetilde{O}(n^2 \|C\|_{\infty}/\epsilon)$ に達成し、以前の最良の $\widetilde{O}(\min\{n^{9/4}\sqrt{\|C\|_{\infty}}/\epsilon, n^2\|C\|_{\infty}/\epsilon^2\})$ を改善した。
• 提案されたアルゴリズムの1つは、並列深さを $\widetilde{O}(\|C\|_{\infty}/\epsilon)$ に達成し、以前の最良の並列深さを $1/\epsilon$ 倍改善した。
• 著者らは、$\widetilde{O}(n^2 \|C\|_{\infty}/\epsilon)$ の実行時間の改善が、最大基数二部マッチング問題に対する $o(n^{2.5})$ アルゴリズムを意味することを示した。
• ハードネス結果から、さらなる改善には、高速行列乗算を除いて既知でないアルゴリズム的グラフ理論の飛躍的進歩が必要であることが示唆された。
• パッキングLPおよび行列バランス化への還元はブラックボックスであり、最新のほぼ線形時間解法の使用を可能にし、新たな計算量境界の達成を可能にした。
• メトリクスの仮定なしに一般のコスト関数に対しても頑健であるため、幅広い機械学習および統計的応用に適用可能である。