[論文レビュー] A Graph Theoretic Additive Approximation of Optimal Transport

Nathaniel Lahn, Deepika Mulchandani+1 more|arXiv (Cornell University)|May 28, 2019

Complexity and Algorithms in Graphs参考文献 28被引用数 4

ひとこと要約

本稿では、GabowとTarjanのコストスケーリングフレームワークを適応させることで、O(n²C/δ + nC²/δ²)の時間で最適輸送問題のδ-近似加法的解を得る、新しいグラフ理論的アルゴリズムを提示する。この手法は、残余グラフ上のDijkstra型探索および深さ優先探索のみを用い、MNISTデータ上でSinkhornと同等の性能を発揮しながら、小さなδ値でも安定性を保つ。

ABSTRACT

Transportation cost is an attractive similarity measure between probability distributions due to its many useful theoretical properties. However, solving optimal transport exactly can be prohibitively expensive. Therefore, there has been significant effort towards the design of scalable approximation algorithms. Previous combinatorial results [Sharathkumar, Agarwal STOC '12, Agarwal, Sharathkumar STOC '14] have focused primarily on the design of near-linear time multiplicative approximation algorithms. There has also been an effort to design approximate solutions with additive errors [Cuturi NIPS '13, Altschuler \etal\ NIPS '17, Dvurechensky \etal\, ICML '18, Quanrud, SOSA '19] within a time bound that is linear in the size of the cost matrix and polynomial in $C/δ$; here $C$ is the largest value in the cost matrix and $δ$ is the additive error. We present an adaptation of the classical graph algorithm of Gabow and Tarjan and provide a novel analysis of this algorithm that bounds its execution time by $O(\frac{n^2 C}δ+ \frac{nC^2}{δ^2})$. Our algorithm is extremely simple and executes, for an arbitrarily small constant $\varepsilon$, only $\lfloor \frac{2C}{(1-\varepsilon)δ} floor + 1$ iterations, where each iteration consists only of a Dijkstra-type search followed by a depth-first search. We also provide empirical results that suggest our algorithm is competitive with respect to a sequential implementation of the Sinkhorn algorithm in execution time. Moreover, our algorithm quickly computes a solution for very small values of $δ$ whereas Sinkhorn algorithm slows down due to numerical instability.

研究の動機と目的

• 時間計算量の明示的上限が保証される、スケーラブルで組み合わせ的な最適輸送の加法的近似のためのアルゴリズムの設計。
• 小さな加法的誤差δにおける、Sinkhornなどの既存の反復的アルゴリズムの数値的不安定性を克服すること。
• GabowとTarjanのコストスケーリングアルゴリズムに基づく、簡潔な反復的アプローチを提供し、実行時間の精密な解析を実施すること。
• 動的近隣探索データ構造を用いて、幾何的・距離関数コストにおける最適輸送の効率的計算を可能にすること。
• 大規模最適輸送における並列処理および近似近隣探索に基づく高速化の可能性を検討すること。

提案手法

• 需要・供給・コストの整数スケーリングを用いて、GabowとTarjanのコストスケーリングアルゴリズムを輸送問題に適応する。
• 固定回数の反復（⌊2C/((1−ε)δ)⌋+1回）を実行し、各反復で残余グラフ上にDijkstra型探索と深さ優先探索を実行する。
• 元のコストをδ′で割って切り下げることで得られるスケーリングコスト関数c̄(·,·)を用い、修正された臨界補題により正しさを保証する。
• 幾何的設定におけるDijkstraおよびDFSステップの高速化に、動的重み付き近隣探索データ構造を活用する。このデータ構造は、クエリ/更新時間に多項式対数時間（poly-logarithmic）を達成する。
• 直径に依存するアプローチを用いて実行時間を解析し、実行時間をO(n²C/δ + nC²/δ²)で上限付ける。
• 反復的行・列更新を回避する逐次バージョンを実装し、Sinkhorn や Greenkhorn とは異なるアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 組み合わせ的アルゴリズムが、C/δに比べてサブラインアー時間で最適輸送のδ-近似加法的解を得られるか？
• RQ2 GabowとTarjanのコストスケーリングフレームワークを、反復回数を最小限に抑えつつ、明示的な加法的誤差バウンドを提供するように適応可能か？
• RQ3 小さなδにおける実行時間と解の品質の観点から、このアルゴリズムはSinkhornなどの反復的手法と比べてどのように性能を発揮するか？
• RQ4 動的近隣探索データ構造を活用することで、幾何的最適輸送において近似的に最適な時間計算量を達成可能か？
• RQ5 低オーバーヘッドで並列化可能な組み合わせ的アルゴリズムを、δ-近似最適輸送に向け設計可能か？

主な発見

• 提案アルゴリズムはO(n²C/δ + nC²/δ²)の時間で実行され、最適輸送コストのδ-近似加法的解を提供する。
• アルゴリズムは⌊2C/((1−ε)δ)⌋+1回の反復のみを実行し、各反復で1回のDijkstraと1回のDFSを実行するため、非常に効率的で単純である。
• 実験的結果では、テストしたすべてのδ値においてSinkhornよりも高速であり、特に小さなδ値ではSinkhornが数値的不安定性に苦しむのに対し、本手法は安定に動作する。
• δ = 0.025から0.2の範囲では、実行時間と解のコストの両面で、Sinkhornを常に上回る。たとえSinkhornが5倍の誤差許容値を与えられても同様の結果が得られる。
• 動的近隣探索データ構造を組み合わせることで、Eucledian距離や二乗Eucledian距離などの幾何的コストにおいて、Õ(n(C/δ)²)の時間計算量を達成する。
• 本手法は非常に小さなδ値に対しても安定的かつ効率的であり、Sinkhornとは異なり、数値的問題により著しく遅延しない。