[論文レビュー] Equivalence Between Wasserstein and Value-Aware Loss for Model-based Reinforcement Learning

Kavosh Asadi, Evan Cater+2 more|arXiv (Cornell University)|Jun 1, 2018

Reinforcement Learning in Robotics参考文献 16被引用数 9

ひとこと要約

本稿は、モデルベース強化学習における価値に配慮したモデル学習（VAML）と Wasserstein 距離の理論的同等性を確立する。MDPの価値関数がリプシッツ連続であることを証明することで、著者らはVAML目的関数の最小化が、遷移分布間のWasserstein距離の最小化と数学的に同等であることを示し、Wasserstein距離をモデル学習に用いる理論的根拠を提供する。

ABSTRACT

Learning a generative model is a key component of model-based reinforcement learning. Though learning a good model in the tabular setting is a simple task, learning a useful model in the approximate setting is challenging. In this context, an important question is the loss function used for model learning as varying the loss function can have a remarkable impact on effectiveness of planning. Recently Farahmand et al. (2017) proposed a value-aware model learning (VAML) objective that captures the structure of value function during model learning. Using tools from Asadi et al. (2018), we show that minimizing the VAML objective is in fact equivalent to minimizing the Wasserstein metric. This equivalence improves our understanding of value-aware models, and also creates a theoretical foundation for applications of Wasserstein in model-based reinforcement~learning.

研究の動機と目的

• 近似的なモデルベース強化学習において、標準的な最尤推定が誤差の累積により失敗するという課題に対処する。
• モデルの不正確さにもかかわらず、価値に配慮したモデル学習（VAML）が計画性能を向上させる理由を理解すること。
• Wasserstein距離を介してVAMLと最適輸送の理論的リンクを確立すること。
• VAMLの最小化が、価値関数のリプシッツ連続性のもとで、Wasserstein距離の最小化と同等であることを示すこと。

提案手法

• 収益と遷移ダイナミクスが有界である場合に、MDPの価値関数がリプシッツ連続であることを、収縮写像と合成補題を用いて証明する。
• 収益と遷移ダイナミクスから導かれる有限なリプシッツ定数Cを持つリプシッツ関数の空間𝒮_Cを定義する。
• VAML目的関数をリプシッツ関数上の上界として再定式化し、Wasserstein距離のカンタロヴィチ＝ルービンシュテイン双対形式に同等であることを示す。
• VAML目的関数の最小化が、真のと予測された遷移分布間のWasserstein距離の最小化と同等であることを確立する。
• 同等性を用いて、Wasserstein距離の最小化が自然に価値に配慮したモデル学習を促進することを議論する。
• 実用的なWassersteinベースのモデル学習のため、GANとエントロピー正則化を含む今後の方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 標準的なMDP仮定のもとで、MDPの価値関数はリプシッツ連続であるか？
• RQ2 VAML目的関数を最適輸送における既知の距離と正式に結びつけることができるか？
• RQ3 遷移分布間のWasserstein距離を最小化することは、最尤推定よりも計画に役立つモデルをもたらすか？
• RQ4 VAMLの最小化がWasserstein距離の最小化と同等であるための条件は何か？
• RQ5 VAMLとWassersteinの理論的同等性を活用して、より優れたモデル学習アルゴリズムを設計できるか？

主な発見

• 収益と遷移ダイナミクスが有界である場合、MDPの価値関数はリプシッツ連続であり、リプシッツ定数C = K^𝒜_d𝒮,dR(R) / (1 - γK_d𝒮,W(T)) である。
• VAML目的関数は、数学的に遷移分布間の二乗Wasserstein距離の最小化と同等であり、C²でスケーリングされる。
• VAML目的関数の最小化により、モデルが後続の計画に最適化されることを保証する。これは、価値関数の構造と整合するからである。
• 同等性により、Wasserstein距離をモデルベース強化学習で用いる理論的根拠が得られる。なぜなら、Wasserstein距離は本質的に価値に配慮したモデル学習を促進するからである。
• この結果は、遷移分布間のWasserstein距離を最小化する任意のアルゴリズムが、暗黙的に最大ベルマン誤差を最小化することを示唆しており、計画性能の向上に寄与する。
• 価値関数がリプシッツであるという仮定のもとで同等性は成り立つが、これは、有界なダイナミクスと収益を持つ標準的なMDPで満たされることが示された。