[論文レビュー] On Wasserstein Reinforcement Learning and the Fokker-Planck equation

Pierre H. Richemond, Brendan Maginnis|arXiv (Cornell University)|Dec 19, 2017

Fault Detection and Control Systems参考文献 18被引用数 13

ひとこと要約

本稿は強化学習におけるWasserstein正則化ポリシー勾配フレームワークを提案し、$W_2$距離における小ステップポリシー更新がFokker-Planck（熱）方程式に従うダイナミクスを示している。これにより、最適ポリシーが拡散と高報酬行動への対流によって出現することを明らかにし、最適輸送理論を通じてガウスノイズやエントロピー正則化の実践的有用性を裏付けた。

ABSTRACT

Policy gradients methods often achieve better performance when the change in policy is limited to a small Kullback-Leibler divergence. We derive policy gradients where the change in policy is limited to a small Wasserstein distance (or trust region). This is done in the discrete and continuous multi-armed bandit settings with entropy regularisation. We show that in the small steps limit with respect to the Wasserstein distance $W_2$, policy dynamics are governed by the Fokker-Planck (heat) equation, following the Jordan-Kinderlehrer-Otto result. This means that policies undergo diffusion and advection, concentrating near actions with high reward. This helps elucidate the nature of convergence in the probability matching setup, and provides justification for empirical practices such as Gaussian policy priors and additive gradient noise.

研究の動機と目的

• 最適輸送とエントロピー正則化強化学習の理論的関係を$W_2$距離を用いて確立すること。
• Wassersteinトレスト領域におけるポリシー勾配更新が連続時間極限でFokker-Planck方程式の解に収束することを示すこと。
• 強化学習における実践的成果（例：勾配ノイズ、ガウス事前分布）を、ポリシー空間における拡散および対流プロセスを通じて説明すること。
• KL発散度を超えて、特に$W_2$を用いたWasserstein距離による信頼領域手法を一般化し、滑らかなポリシー更新を実現すること。
• 無限次元ポリシー空間におけるJordan-Kinderlehrer-Otto（JKO）フレームワークを用いたポリシー輸送の数学的基盤を提供すること。

提案手法

• $W_2$ Wasserstein距離を計量として用いることで、確率測度空間における勾配フローとしてポリシー反復を定式化する。
• $W_2$トレスト領域におけるポリシー更新の連続時間極限を導出し、Fokker-Planck方程式への収束を示す。
• Jordan-Kinderlehrer-Otto（JKO）の結果を用いて、$W_2$空間における勾配フローと熱方程式の関係を確立し、ポリシーの拡散と対流をモデル化する。
• 報酬関数 Functional にエントロピー正則化を適用し、統計力学に類似した自由エネルギー Functional を得る。
• Fokker-Planck方程式の定常解がギブス測度$\pi^*(a|s) \propto e^{r(s,a)/\beta}$に一致することを示し、これが最適ポリシーに一致することを確認する。
• Sinkhornアルゴリズムと正則化最適輸送を用いて$W_2$近接写像を近似し、実装可能性を高める。

実験結果

リサーチクエスチョン

• RQ1 ポリシー勾配における$W_2$ Wasserstein距離をトレスト領域として用いることで、ポリシー最適化のダイナミクスにどのような影響を与えるか？
• RQ2 $W_2$正則化ポリシー勾配更新の連続時間極限を支配する偏微分方程式は何か？
• RQ3 Fokker-Planck方程式は、拡散と対流によって最適ポリシーがどのように出現するかをどのように説明するか？
• RQ4 Fokker-Planckダイナミクスと勾配にガウスノイズを追加するなどの実践的技法との関連は何か？
• RQ5 $W_2$に基づくポリシー更新は、信頼領域ポリシー最適化（TRPO）やソフトQ学習といった既知のエントロピー正則化ポリシー最適化フレームワークとどのように関連するか？

主な発見

• W_2トレスト領域におけるポリシー更新は、連続時間極限でFokker-Planck方程式の解に収束し、ポリシーの拡散と対流をモデル化する。
• Fokker-Planck方程式の定常解はギブス測度$\pi^*(a|s) \propto e^{r(s,a)/\beta}$に一致し、エントロピー正則化最適ポリシーと一致する。
• Fokker-Planckダイナミクスは、ポリシーが高報酬行動の周辺に集中する理由を説明し、確率マッチングにおける収束のメカニズムを提供する。
• W_2に基づく勾配フローの使用は、確率的拡散プロセスを通じて、勾配ノイズやガウスポリシープライアの実践的成功を正当化する。
• $W_2$近接写像は、逐次Kantorovichポテンシャルによって支配されるギブス測度の系列を生成し、最適ポリシーに収束する。
• Sinkhornアルゴリズムによる正則化最適輸送は、$W_2$に基づくポリシー更新の数値的に安定した近似を提供し、実装可能性を高める。