[論文レビュー] A Study of Performance of Optimal Transport

Yihe Dong, Yu Gao+3 more|arXiv (Cornell University)|May 3, 2020

Optimization and Packing Problems参考文献 30被引用数 10

ひとこと要約

この論文は、最適輸送（OT）距離を計算するための組合せ的および行列スケーリング手法を評価し、ネットワークシンプレックスと新規のバッチ処理されたクラスマン＝ムンクレース（Kuhn-Munkres）アルゴリズムが、Sinkhorn や Greenkhorn でさえ、低精度の状態でも最大で1000倍以上も高速であることを示している。著者らは、割り当て問題における正確なOT計算を著しく高速化する、新たなバッチ処理 KM アルゴリズムを導入した。

ABSTRACT

We investigate the problem of efficiently computing optimal transport (OT) distances, which is equivalent to the node-capacitated minimum cost maximum flow problem in a bipartite graph. We compare runtimes in computing OT distances on data from several domains, such as synthetic data of geometric shapes, embeddings of tokens in documents, and pixels in images. We show that in practice, combinatorial methods such as network simplex and augmenting path based algorithms can consistently outperform numerical matrix-scaling based methods such as Sinkhorn [Cuturi'13] and Greenkhorn [Altschuler et al'17], even in low accuracy regimes, with up to orders of magnitude speedups. Lastly, we present a new combinatorial algorithm that improves upon the classical Kuhn-Munkres algorithm.

研究の動機と目的

• 多様なデータタイプにわたる正確なおよび近似最適輸送アルゴリズムの実行時間効率を体系的に比較すること。
• 実世界の状況において、組合せ的手法（例：ネットワークシンプレックス、オークション、クラスマン＝ムンクレース）と行列スケーリング手法（例：Sinkhorn、Greenkhorn）の実用的性能を評価すること。
• 行列スケーリング手法における正則化パラメータの影響が収束性と精度に与える影響を調査すること。
• 割り当て問題における古典的手法を凌駕する新たなバッチ処理クラスマン＝ムンクレースアルゴリズムの開発およびベンチマーク化すること。
• 特に低精度許容範囲下での精度、実行時間、数値的安定性のトレードオフを評価すること。

提案手法

• 正確なOT計算のための、BLAS最適化されたC++実装を用いて、ネットワークシンプレックス、オークション、クラスマン＝ムンクレースアルゴリズムを実装およびベンチマーク化した。
• 数値オーバーフローを防ぎ、安定性を向上させるために、対数スケールのフロー追跡を用いて行列スケーリング手法（Sinkhorn および Greenkhorn）を評価した。
• 複数の割り当て問題を同時に処理することでキャッシュ効率を向上させ、オーバーヘッドを削減する、クラスマン＝ムンクレースアルゴリズムのバッチ処理版を導入した。
• 近似アルゴリズム間の公平な評価を保証するため、すべてのアルゴリズムに対して1.1の固定近似要因を用いた。
• 正則化パラメータ（η）の影響を異なるデータセット間で公平に比較できるように、コスト行列を最大値1にスケーリングした。
• 収束解析を実施し、ηの関数として反復回数と実行時間を測定することで、精度と計算コストのトレードオフを調査した。

実験結果

リサーチクエスチョン

• RQ1 ネットワークシンプレックスやクラスマン＝ムンクレースといった組合せ的アルゴリズムが、Sinkhorn や Greenkhorn といった行列スケーリング手法よりも、多様なデータドメインにおいて実行時間で優れているか？
• RQ2 実用的状況下で、正則化パラメータ η の選択が Sinkhorn や Greenkhorn の収束速度と精度に与える影響は？
• RQ3 クラスマン＝ムンクレースのバッチ処理版が、正確なOT計算において古典的手法よりも顕著な性能向上を達成できるか？
• RQ4 非ユニット需要・供給問題において、10%の誤差許容範囲が許容される場合、行列スケーリング手法がどれほど競争力を持つのか？
• RQ5 行列スケーリングOTアルゴリズムにおいて、数値的安定性、精度要件、収束速度の実用的トレードオフはどのようなものか？

主な発見

• 組合せ的手法、特にネットワークシンプレックスと新規のバッチ処理クラスマン＝ムンクレースアルゴリズムが、テスト済みのすべてのデータセットで、行列スケーリング手法を最大で1000倍以上も高速に処理した。
• 10%の誤差許容範囲であっても、非ユニット需要・供給を持つすべてのデータセットで、Sinkhorn や Greenkhorn は正確な Lemon NS アルゴリズムを上回ることはなく、Greenkhorn は少なくとも10倍以上遅かった。
• バッチ処理クラスマン＝ムンクレースの変種は、ユニット需要問題（例：CS100）でミリ秒未満の実行時間を達成したのに対し、Sinkhorn は0.006秒、Greenkhorn は0.402秒を要し、顕著な高速化が確認された。
• 正則化パラメータ η を大きくすると精度は向上するが、反復回数は超線形的に増加し、大規模問題では高精度解を得ることが計算コスト的に非現実的になった。
• 行列スケーリング手法では、η が大きい場合に高精度浮動小数点演算を必要とし、数値的不安定性と性能ボトルネックを引き起こした。
• 理論的利点があるにもかかわらず、Greenkhorn らのような行列スケーリング手法は、近似を許容しても常に正確な組合せ的ソルバーを下回る速度であった。