[論文レビュー] Near-linear time approximation algorithms for optimal transport via Sinkhorn iteration

Jason M. Altschuler, Jonathan Weed+1 more|arXiv (Cornell University)|May 26, 2017

Advanced Bandit Algorithms Research参考文献 35被引用数 211

ひとこと要約

本論文は Sinkhorn イテレーションを用いて最適輸送距離を近似するほぼ線形時間のアルゴリズムを証明し、同じ保証と実用的利点を持つ貪欲な変種 Greenkhorn を導入する。

ABSTRACT

Computing optimal transport distances such as the earth mover's distance is a fundamental problem in machine learning, statistics, and computer vision. Despite the recent introduction of several algorithms with good empirical performance, it is unknown whether general optimal transport distances can be approximated in near-linear time. This paper demonstrates that this ambitious goal is in fact achieved by Cuturi's Sinkhorn Distances. This result relies on a new analysis of Sinkhorn iteration, which also directly suggests a new greedy coordinate descent algorithm, Greenkhorn, with the same theoretical guarantees. Numerical simulations illustrate that Greenkhorn significantly outperforms the classical Sinkhorn algorithm in practice.

研究の動機と目的

• 離散測度に対する最適輸送距離の高速計算を動機づける。
• エントロピー正則化を通じて OT に対するほぼ線形時間の近似保証を提供する。
• 理論的保証を備えた実用的で実装が容易なアルゴリズムを紹介する。
• 近似から実現可能なOT解を得るための単純な丸め手順を提供する。

提案手法

• OT を marginals r と c を用いた線形計画として定式化する。
• エントロピー正則化を用いてSinkhorn projection P_eta を定義し、その明示形式 P_eta = X A Y で A = exp(-eta C)。
• 行列 Proj(A, U_{r,c}, epsilon') を開発し、縦横の限界距離で輸送多面体に近い B を生み出す。
• 制御された誤差を持つ実現可能な P を U_{r,c} に生成する丸めルーチン round(F, U_{r,c}) を提供する。
• 2 つの射影法を分析する: Sinkhorn（反復的な行/列スケーリング）と Greenkhorn（貪欲な座標更新）を、ほぼ線形時間の保証とともに。
• 全体の実行時間を証明する: O(n^2) に加えて S、ここで S = O(n^2 L^3 (log n) epsilon^{-3}) かつ ||C||_infty <= L のとき。

実験結果

リサーチクエスチョン

• RQ1 離散測度間の OT 距離を入力サイズ n^2 に対して近線形時間で近似できるか。
• RQ2 エントロピー正則化は一般的な非負コスト行列 C に対して厳密な近線形時間近似保証を可能にするか。
• RQ3 実用的で実装が容易な Sinkhorn のバリアント（Greenkhorn）が同じ保証を達成し、経験的性能でより良くなるか。
• RQ4 近似した Sinkhorn 投影を、証明可能な誤差境界を伴う実現可能な輸送計画へと丸める手段はどう実現できるか。

主な発見

• 著者らはエントロピー正則化を伴う Sinkhorn 距離が離散測度間の OT 距離に対して near-linear time の近似をもたらすことを示す。
• 正確な実行時間境界を示す: O(n^2 + S)、 ||C||_infty <= L のとき S = O(n^2 L^3 log n epsilon^{-3})。
• 貪欲座標降下法の変種 Greenkhorn は Sinkhorn と同等の理論保証を達成しつつ、実用的性能を向上させる。
• 簡単な丸め手続きは U_{r,c} に実現可能な輸送計画を、OT目的の加法的誤差 epsilon で与える。
• Sinkhorn アプローチのパラメータ調整に関する指針を提供し、MNIST 画像データや合成実験で Greenkhorn が標準の Sinkhorn より経験的に優れていることを示す。
• 実証結果は Greenkhorn が短時間・長時間のどちらの実行においても Sinkhorn より著しく優れていることを示す。