[論文レビュー] Recent Advances in Optimal Transport for Machine Learning

Eduardo Fernandes Montesuma, Fred Ngolè Mboula+1 more|arXiv (Cornell University)|Jun 28, 2023

Machine Learning and ELM被引用数 4

ひとこと要約

本調査は2012年から2022年までの機械学習における最適輸送（OT）の最近の進展をレビューし、教師あり、教師なし、転移学習、強化学習の各分野において、OTを距離関数、損失関数、正則化項、変換手法としての応用を網羅する。投影に頑健なOTやミニバッチOTといった新しい計算手法を強調し、生成モデル、ドメイン適応、分布的強化学習におけるOTの役割を理論的・実験的知見とともにもたらす。

ABSTRACT

Recently, Optimal Transport has been proposed as a probabilistic framework in Machine Learning for comparing and manipulating probability distributions. This is rooted in its rich history and theory, and has offered new solutions to different problems in machine learning, such as generative modeling and transfer learning. In this survey we explore contributions of Optimal Transport for Machine Learning over the period 2012 -- 2023, focusing on four sub-fields of Machine Learning: supervised, unsupervised, transfer and reinforcement learning. We further highlight the recent development in computational Optimal Transport and its extensions, such as partial, unbalanced, Gromov and Neural Optimal Transport, and its interplay with Machine Learning practice.

研究の動機と目的

• 2012年から2022年までの機械学習における最適輸送の役割について包括的かつ最新のレビューを提供すること。
• 投影に頑健なOT、構造的OT、ニューラルOT、ミニバッチOTといった最近の計算的進展を特定・分析すること。
• 教師あり、教師なし、転移、強化学習という4つの主要な機械学習分野におけるOTの応用を調査すること。
• 先行の調査ではカバーされていない新規貢献、たとえば公平性、辞書学習、分布的強化学習におけるOTを強調すること。
• OT理論と実際の機械学習実装（特にディープラーニングと確率的モデリング）との相互作用を明確にすること。

提案手法

• 最適輸送のモンジュ＝カンタロヴィチ（MK）定式化を主たる理論的基盤とし、 Wasserstein距離を1つの分布から別の分布に質量を輸送する最小コストとして定義する。
• MK定式化を用いて、OTを距離関数（例：Wasserstein距離）、損失関数（例：WGANやWDGRL）、正則化項（例：WAEやWQL）として定義する。
• 生成モデルにおける微分可能なOTを実現するため、Knothe-Rubinstein（KR）定式化の使用を導入し、OT層を逆誤差伝搬可能にする。
• ポリシー最適化における連続時間ダイナミクスをモデル化するため、Bures-Bernoulli（BB）定式化を用い、確率測度空間における勾配勾配として定式化する。
• 構造的OTおよび投影に頑健なOTを用いて、高次元および複雑なデータ設定におけるスケーラビリティと統計的効率性を向上させる。
• Wasserstein重心と測地線を用いたデータ集約により、ドメイン適応やクラスタリングにおける異種確率分布の補間とアライメントを可能にする。

実験結果

リサーチクエスチョン

• RQ1 2012年から2022年までの間、最適輸送は教師あり、教師なし、転移学習、強化学習の各分野においてどのように機械学習を前進させたか？
• RQ2 ディープラーニングや大規模機械学習への統合を可能とした、最適輸送における主な計算的イノベーションは何か？
• RQ3 生成モデルやドメイン適応において、KLダイバージェンスのような従来の損失関数と比較して、OTがどのように原理的かつ優れた代替手段となるか？
• RQ4 構造的データおよびマルチソースドメイン適応において、OTはどのようにより公平で頑健な学習を可能にするか？
• RQ5 分布的強化学習におけるOTの役割は何か？また、不確実性の伝搬とポリシー最適化をどのように改善するか？

主な発見

• 最適輸送は統計的および位相的に良好な性質を持つ距離関数（Wasserstein距離）を提供し、弱収束下での連続性と安定性のおかげで、生成モデルにおいてKLダイバージェンスを上回る性能を発揮する。
• 投影に頑健なOTおよびミニバッチOTの使用により、大規模かつ高次元データにおける計算効率とスケーラビリティが顕著に向上する。
• Wasserstein GAN（WGAN）およびWDGRLは、OTを訓練損失として用いることで、生成モデルとドメイン適応において最先端の性能を達成し、より安定した学習ダイナミクスを実現する。
• Wasserstein重心と測地線により、確率分布の原理的補間と集約が可能となり、ドメイン適応やクラスタリングへの応用が可能になる。
• 強化学習では、WQLアルゴリズムがWasserstein重心を用いてQ分布を更新し、分布的ダイナミクスに基づく理論的裏付けとともに優れた性能を達成する。
• 本調査では、ニューラルネットワークを用いてOTマップをパrameter化する（例：ICNNを介して）傾向が顕著であり、現代のディープラーニングアーキテクチャにおけるエンドツーエンド微分可能なOT層の実現が可能になっていることを同定する。