[論文レビュー] Screening Sinkhorn Algorithm for Regularized Optimal Transport

Mokhtar Z. Alaya, Maxime Bérar+2 more|arXiv (Cornell University)|Jun 20, 2019

Optimization and Search Problems参考文献 37被引用数 11

ひとこと要約

本稿では、最適輸送の正則化されたSinkhornアルゴリズムの高速化を目的として、最適化の前に無視できる双対変数を特定・削除する、新しいスクリーニング戦略Screenkhornを提案する。KKT条件としきい値に基づく双対定式化を活用することで、より小さいが理論的に正確な問題を解くことができ、ドメイン適応などの大規模タスクにおいて最大10倍の高速化を達成し、精度の損失は最小限に抑えられる。

ABSTRACT

We introduce in this paper a novel strategy for efficiently approximating the Sinkhorn distance between two discrete measures. After identifying neglectable components of the dual solution of the regularized Sinkhorn problem, we propose to screen those components by directly setting them at that value before entering the Sinkhorn problem. This allows us to solve a smaller Sinkhorn problem while ensuring approximation with provable guarantees. More formally, the approach is based on a new formulation of dual of Sinkhorn divergence problem and on the KKT optimality conditions of this problem, which enable identification of dual components to be screened. This new analysis leads to the Screenkhorn algorithm. We illustrate the efficiency of Screenkhorn on complex tasks such as dimensionality reduction and domain adaptation involving regularized optimal transport.

研究の動機と目的

• 大規模データに対して計算コストが高いため、特に正則化された最適輸送、特にSinkhornアルゴリズムの計算を高速化すること。
• 最適化の前に、Sinkhorn双対問題における無視できる双対変数を特定・削除することで、問題のサイズを小さくし、解の品質に影響を与えないようにすること。
• スクリーニングされた変数の数が増加するに従い、スクリーニングされた解の目的関数値および周辺制約の満たし具合に関する理論的保証を提供すること。
• 数値的安定性と収束性を維持しながら、GPUで高速化可能な効率的なアルゴリズムを開発すること。
• 次元削減やドメイン適応などの複雑な機械学習タスクにおいて、実験的に手法を評価し、顕著な高速化を示すこと。

提案手法

• 双対変数に下限および上限を設けた正則化Sinkhorn問題の新しい双対定式化を提案し、制約を厳密に満たす成分を特定可能にする。
• KKT最適性条件を用いて、事前に定めたしきい値以下の双対変数をスクリーニングする十分条件を導出し、最適化の前にそれらを0に設定可能にする。
• 数値的安定性と収束性を保証するため、適切に計算された境界を用いた制約付きL-BFGS-Bアルゴリズムを用いて、縮小された双対問題を解く。
• 2段階のスクリーニングプロセスを適用：まず、しきい値処理により非活性な双対成分を特定し、次に残りの活性成分に対して問題を解く。
• GPUで最適化されたL-BFGS-B実装を統合することで、大規模問題における性能をさらに向上させる。
• 問題構造に応じてスクリーニングしきい値を動的に調整し、計算の節約と解の忠実性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 正則化された最適輸送問題において、Sinkhornアルゴリズムを解く前に無視できる双対変数を特定・削除することで、顕著な計算コストの削減が達成可能か？
• RQ2 スクリーニングされた変数の数が増加するに従い、スクリーニングされた解の目的関数値および周辺制約の満たし具合にどのような理論的保証が得られるか？
• RQ3 さまざまな機械学習タスクにおいて、Screenkhornアルゴリズムは標準的なSinkhornおよびGreenkhornアルゴリズムと比べて、速度と精度の点でどのように差をつけるか？
• RQ4 どのような状況でスクリーニングが最大の計算的利点をもたらし、ドメイン適応などの下流タスクにおけるモデル一般化性能にどのように影響を与えるか？
• RQ5 スクリーニング戦略はGPUハードウェアを用いて効率的に並列化または高速化可能か？その場合の性能向上はどの程度か？

主な発見

• ドメイン適応タスク（例：MNISTからUSPS）において、標準的なSinkhornアルゴリズムと比較して、Screenkhornは最大10倍の高速化を達成し、精度の損失は最小限または全くない。
• MNISTからUSPSへのドメイン適応タスクでは、ScreenkhornはSinkhornと同等の精度を維持しながら、特に中規模のデータセットサイズにおいて約10倍の高速化を実現する。
• 3クラスのガウス分布を用いたトイ問題では、5以上の減数係数を用いたScreenkhornが2〜10倍の高速化を達成し、一部のケースでわずかな性能低下が観察されたが、全体として良好な性能を示す。
• 正則化パラメータやハイパーパrameterの変更に対しても、本手法は頑健であり、ℓp,1正則化子を変更しても性能が著しく低下しない。
• 実験結果から、データセットサイズが大きくなるほど計算的利点が増大し、サンプル数が多くても本手法は有効であることが示された。
• 無視できる双対変数の数が多い場合にスクリーニング戦略は最も効果を発揮し、スクリーニング成分の数が増加するに従い、解の品質について強い理論的制御が保たれる。