[論文レビュー] Greedy stochastic algorithms for entropy-regularized optimal transport problems

Brahim Khalil Abid, Robert M. Gower|arXiv (Cornell University)|Mar 4, 2018

Risk and Portfolio Optimization参考文献 11被引用数 10

ひとこと要約

本稿では、制約違反に基づいて確率的に行および列の更新を選択する、エントロピー正則化最適輸送問題を解くためのグリーディ確率的アルゴリズム族—Greedy Stochastic Sinkhorn—を提案する。この手法は、SinkhornおよびGreenkhornと同等の収束速度を達成しており、数値実験では特にα=1の多項式確率関数を用いた低正則化領域で優れた性能を示す。

ABSTRACT

Optimal transport (OT) distances are finding evermore applications in machine learning and computer vision, but their wide spread use in larger-scale problems is impeded by their high computational cost. In this work we develop a family of fast and practical stochastic algorithms for solving the optimal transport problem with an entropic penalization. This work extends the recently developed Greenkhorn algorithm, in the sense that, the Greenkhorn algorithm is a limiting case of this family. We also provide a simple and general convergence theorem for all algorithms in the class, with rates that match the best known rates of Greenkorn and the Sinkhorn algorithm, and conclude with numerical experiments that show under what regime of penalization the new stochastic methods are faster than the aforementioned methods.

研究の動機と目的

• 大規模機械学習応用における最適輸送の高い計算コストに対処すること。
• 制約違反に基づく確率的更新選択を可能にするGreenkhornアルゴリズムの一般化を開発すること。
• GreenkhornおよびSinkhornの最良既知結果と同等の収束速度を保証する統一された収束定理を確立すること。
• 解が元のOT問題に最も近いとされる低エントロピー正則化領域における新規アルゴリズムの性能を評価すること。
• 並列化を向上させるとともに1イテレーションあたりの計算コストを低減するブロック変種を提案すること。

提案手法

• 輸送制約の多面体における違反度に比例して、行または列の更新確率を設定するアルゴリズム族を提案する。
• αでパラメータ化された柔軟な確率関数を用い、α→∞の極限でGreenkhornアルゴリズムが得られることを示す。
• 正則化されたOT問題の双対形式を採用し、行列スケーリングにより双対変数uとvを更新する。
• この族に属するすべてのアルゴリズムに対して一般化された収束定理を導出し、弱い条件下でO(n/ε²)の反復複雑度を証明する。
• d個の成分を一度に更新するブロック変種を導入し、並列化を向上させるとともに、違反度計算の頻度を低減する。
• 各イテレーションで違反度に基づく確率に従って1つの行または列を選択して更新する確率的更新ルールを採用し、全行列更新を回避する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化最適輸送問題に対して、Greenkhornを一般化するグリーディ確率的アルゴリズム族を構築可能か？
• RQ2 このアルゴリズム族に対して証明可能な収束速度は何か？ そして、SinkhornおよびGreenkhornの最良既知の速度と一致するか？
• RQ3 エントロピー正則化のどの範囲（λ）で、提案されたGreedy Stochastic SinkhornがSinkhornおよびGreenkhornを上回るか？
• RQ4 確率関数の選択（例：多項式関数対ソフトマックス）が収束速度および安定性に与える影響は何か？
• RQ5 アルゴリズムのブロック変種は、収束特性を維持しつつ計算効率を向上させられるか？

主な発見

• 多項式確率関数(11)とα=1を用いたGreedy Stochastic Sinkhornは、MNISTデータセットにおける低正則化領域（λ=10）で最も速い収束を達成した。
• 数値実験では分散が急速に消滅し、誤差棒がゼロに近づくことが確認され、確率的性質にもかかわらず安定した収束を示した。
• 確率関数においてα→∞またはT→0とした極限でGreenkhornアルゴリズムが回復され、先行研究との整合性が確認された。
• d個の成分を一度に更新するブロック変種は、収束速度を維持しながら並列化を可能にし、計算オーバーヘッドを低減した。
• 提案されたアルゴリズム族の収束速度は、最良既知のO(n/ε²)と一致しており、理論的保証が妥当であることを裏付けた。
• 数値結果から、グリーディ手法の主な利点は、最大の違反度を持つ制約を選択することではなく、すでに満たされている制約への更新を避けることにあり、この性質はブロック版および確率的バージョンでも保持された。