[論文レビュー] Sinkhorn Distances: Lightspeed Computation of Optimal Transportation Distances

Marco Cuturi|arXiv (Cornell University)|Jun 4, 2013

Advanced Image and Video Retrieval Techniques参考文献 18被引用数 70

ひとこと要約

この論文は、エントロピー正則化を用いて最適輸送距離の微分可能で高速な近似であるSinkhorn距離を導入する。最適輸送問題にエントロピー項を追加することで滑らかにし、著者たちはSinkhorn-Knoppアルゴリズムを用いて計算を可能にした。これにより、従来のソルバーよりも数個のオーダーの高速化が達成され、MNIST分類などのベンチマークタスクにおいて性能を維持または向上させる。

ABSTRACT

Optimal transportation distances are a fundamental family of parameterized distances for histograms. Despite their appealing theoretical properties, excellent performance in retrieval tasks and intuitive formulation, their computation involves the resolution of a linear program whose cost is prohibitive whenever the histograms' dimension exceeds a few hundreds. We propose in this work a new family of optimal transportation distances that look at transportation problems from a maximum-entropy perspective. We smooth the classical optimal transportation problem with an entropic regularization term, and show that the resulting optimum is also a distance which can be computed through Sinkhorn-Knopp's matrix scaling algorithm at a speed that is several orders of magnitude faster than that of transportation solvers. We also report improved performance over classical optimal transportation distances on the MNIST benchmark problem.

研究の動機と目的

• ヒストグラムの次元dが数百を超えると、最適輸送距離の計算コストが著しく高くなる（O(d³ log d)）という問題に対処すること。
• 大規模な機械学習における最適輸送の実用的応用を可能にするために、計算時間を大幅に短縮すること。
• 理論的性質を保ちつつ効率性を向上させる、Earth Mover's Distance (EMD) の代替として微分可能でスケーラブルな手法を開発すること。
• エントロピー正則化が、数値的に安定で並列化可能なアルゴリズムをもたらし、GPGPU加速に適していることを示すこと。

提案手法

• 古典的な最適輸送問題にエントロピーペナルティ項を追加することで、線形計画問題を厳密に凸な最適化問題に変換する。
• 正則化された問題を解くために、Sinkhorn-Knopp行列スケーリングアルゴリズムを用いる。このアルゴリズムは線形収束を示し、並列化が容易である。
• 正則化最適輸送問題の解としてSinkhorn距離を定義し、正則化パラメータλが正確さと速度のトレードオフを制御することを明示する。
• 反復的な行と列の和のスケーリングを用いて、双対変数を更新し、最適輸送計画を近似する行列Pに収束させる。
• Sinkhorn反復の微分可能性を活用し、ディープラーニングパイプラインにおけるエンドツーエンド学習を可能にする。
• 実際の実装では収束基準に依存せず、固定回数の反復を用いることで、並列ハードウェア上で予測可能で高速な実行を保証する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化は、性能を損なわせることなく、最適輸送距離の計算を著しく高速化できるか？
• RQ2 Sinkhorn-Knoppアルゴリズムは、従来の最適輸送ソルバーの代替としてスケーラブルで微分可能であるか？
• RQ3 標準ベンチマーク（例：MNIST）において、Sinkhorn距離はEarth Mover’s Distance (EMD) よりも優れた性能を示すか？
• RQ4 高次元入力に対しても、大規模な機械学習応用においてSinkhorn距離が効果的に使用可能か？
• RQ5 正則化パラメータλの値が、計算速度と近似精度のトレードオフに与える影響は何か？

主な発見

• Sinkhorn距離は、基準度量に関する仮定がなくても、従来の最適輸送ソルバーと比較して数個のオーダーも高速化を達成する。
• MNISTベンチマークにおいて、Sinkhorn距離は古典的なEarth Mover’s Distance (EMD) を上回る分類精度を示す。
• Sinkhorn-Knoppアルゴリズムは線形収束を示し、並列化に非常に適しており、GPGPU加速に適している。
• さまざまな基準度量に対して頑健に機能し、構造的仮定や事前処理の必要がない。
• 正則化パラメータλの値が小さいほど、より優れた性能が得られることが示され、低正則化が明確に好まれることを示唆している。
• エントロピー正則化により微分可能な距離測度が得られ、ディープラーニングフレームワークへの統合が可能になる。