[論文レビュー] Learning Cost Functions for Optimal Transport

Ma, Shaojun, Haodong Sun+3 more|arXiv (Cornell University)|Feb 22, 2020

Sparse and Compressive Sensing Techniques参考文献 45被引用数 6

ひとこと要約

本稿では、逆最適輸送（OT）を非制約問題に再定式化することで、二段階最適化の計算ボトル neck を回避する、コスト関数を学習するための新しい凸最適化フレームワークを提案する。離散的OTに対してはSinkhorn-Knoppに基づく行列スケーリング、連続的OTに対しては深層ニューラルネットワークを用いた手法を導入し、従来手法に比べて優れた効率性と正確性を達成する。

ABSTRACT

Inverse optimal transport (OT) refers to the problem of learning the cost function for OT from observed transport plan or its samples. In this paper, we derive an unconstrained convex optimization formulation of the inverse OT problem, which can be further augmented by any customizable regularization. We provide a comprehensive characterization of the properties of inverse OT, including uniqueness of solutions. We also develop two numerical algorithms, one is a fast matrix scaling method based on the Sinkhorn-Knopp algorithm for discrete OT, and the other one is a learning based algorithm that parameterizes the cost function as a deep neural network for continuous OT. The novel framework proposed in the work avoids repeatedly solving a forward OT in each iteration which has been a thorny computational bottleneck for the bi-level optimization in existing inverse OT approaches. Numerical results demonstrate promising efficiency and accuracy advantages of the proposed algorithms over existing state-of-the-art methods.

研究の動機と目的

• 観測された輸送計画から最適輸送におけるコスト関数を学習する課題に対処すること。これは、正確なデータ表現と推論に不可欠である。
• 従来の二段階最適化アプローチにおける計算非効率性を克服すること。これは、前方OT問題を繰り返し解く必要があるためである。
• カスタマイズ可能な正則化をサポートし、理論的分析を可能にする、一般化された非制約凸定式化を提供すること。
• 提案された定式化下で、解の一意性および双対変数の有界変動性といった理論的性質が、逆OT問題に成立することを保証すること。
• 繰り返し前方OT問題を解かずに、高次元設定にスケーラブルな効率的数値アルゴリズムを設計すること。

提案手法

• エントロピー正則化OTフレームワークを用いて、逆OTを非制約凸最適化問題として定式化することで、効率的最適化と理論的分析を可能にする。
• 双対変数とコスト行列を交互に更新する手法に基づく、Sinkhorn-Knoppアルゴリズムに起因する行列スケーリングアルゴリズムを提案し、離散的逆OT問題を解く。
• 連続的OTにおけるコスト関数をニューラルネットワークとしてパラメータライズする深層学習ベースの手法を導入し、複雑なコスト構造のエンドツーエンド学習を可能にする。
• 正則化を逆OT定式化に組み込み、学習されたコスト関数における滑らかさやスパarsityといった望ましい性質を促進する。
• 変数の再スケーリングを伴うブロック座標降下法（BCD）を適用し、双対変数を有界に保つことで、数値的安定性と収束性を確保する。
• 再スケーリング戦略を用いて双対変数を有界な集合内に保つことで、Lipschitz滑らか問題に対する既知の結果を応用し、収束保証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 逆最適輸送を、二段階最適化の計算的負担を回避する非制約凸最適化問題として再定式化できるか？
• RQ2 提案された定式化下で、解の一意性や双対変数の有界変動性といった理論的性質は、逆OT問題に成立するか？
• RQ3 前方OT問題を繰り返し解かずに、効率的な数値アルゴリズムを設計するにはどうすればよいか？
• RQ4 深層ニューラルネットワークは、連続的逆OTにおけるコスト関数を効果的にパラメータライズできるか？これにより、柔軟でデータ駆動型のコスト学習が可能になるか？
• RQ5 特に、有界な変数を伴うブロック座標降下法の文脈において、どのような収束保証を確立できるか？

主な発見

• 提案された逆OT定式化は非制約的かつ凸的であり、効率的最適化および解の一意性・安定性の理論的分析を可能にする。
• Sinkhorn-Knoppに基づく行列スケーリングアルゴリズムは、定理10における収束境界により、グローバルなサブ線形収束率O(1/k)で収束することが示された。
• 再スケーリングにより双対変数が有界に保たれ、数値的安定性が確保され、収束保証が可能になる。
• 深層学習ベースの手法により、コスト関数がニューラルネットワークとして効果的にパラメータライズされ、連続的OT設定における柔軟でデータ駆動型のコスト学習が可能になった。
• 数値実験の結果、両方のアルゴリズムが、特に高次元設定において、最先端の手法に比べて効率性と正確性に優れていることが示された。
• 従来の二段階最適化が直面する繰り返し前方OT計算を回避することで、逆OTにおける計算コストを顕著に削減した。