[論文レビュー] An operator view of policy gradient methods

Dibya Ghosh, Marlos C. Machado+1 more|arXiv (Cornell University)|Jun 19, 2020

Reinforcement Learning in Robotics参考文献 23被引用数 5

ひとこと要約

本稿は、方策勾配（PG）手法を、方策改善作用素と実現可能な方策への射影作用素の反復的適用として定式化する作用素ベースのフレームワークを導入する。REINFORCE や PPO といった PG 手法をこの枠組みで統一し、ベルマン作用素を介して価値ベース手法との関係を明らかにするとともに、訓練の安定性と解釈可能性を向上させる新たな期待報酬のグローバルな下界を導出する。

ABSTRACT

We cast policy gradient methods as the repeated application of two operators: a policy improvement operator $\mathcal{I}$, which maps any policy $π$ to a better one $\mathcal{I}π$, and a projection operator $\mathcal{P}$, which finds the best approximation of $\mathcal{I}π$ in the set of realizable policies. We use this framework to introduce operator-based versions of traditional policy gradient methods such as REINFORCE and PPO, which leads to a better understanding of their original counterparts. We also use the understanding we develop of the role of $\mathcal{I}$ and $\mathcal{P}$ to propose a new global lower bound of the expected return. This new perspective allows us to further bridge the gap between policy-based and value-based methods, showing how REINFORCE and the Bellman optimality operator, for example, can be seen as two sides of the same coin.

研究の動機と目的

• 方策勾配手法の訓練ダイナミクスと価値ベース手法との関係を明確にする統一的で作用素ベースの視点を構築すること。
• 方策勾配更新を、制約付き方策クラスへの射影作用素と方策改善作用素の繰り返し適用として形式化すること。
• 保守的方策改善の原理的代替手段として、収束性の向上を図る新たな期待報酬のグローバル下界を導出すること。
• 方策ベースと価値ベース手法の間の理論的関係を確立し、REINFORCE とベルマン最適性作用素が本フレームワーク下で同一のコインの表裏であることを示すこと。
• エントロピー正則化、報酬の指数化、α-ダイバージェンスを用いた行動コーピングといった PG 手法における実用的設計選択の背後にある新たな知見を提供すること。

提案手法

• 任意の方策 π をより良い方策 𝒫π に写像する方策改善作用素 𝒫 を定義し、期待報酬を厳密に向上させることを保証する。
• 改善された方策のうち、制限された実現可能な方策クラス内での最良の近似を求める射影作用素 ℙ を導入する。
• REINFORCE や PPO といった古典的手法を、改善作用素と射影作用素の交互適用として再定式化する。
• α-ダイバージェンスに基づき、状態-行動形式を用いて期待報酬の新たなグローバル下界を導出する。この下界は、元の方策ではなく改善された方策からの逸脱をペナルティ化する。
• 作用素フレームワーク下で、REINFORCE の更新とベルマン最適性作用素が同等であることを確立し、異なるパrameterization で同一の最適化プロセスを表していることを示す。
• 作用素フレームワークを用いて、エントロピー正則化や報酬の指数化が、方策改善と分散の向上を促進するメカニズムであることを正当化する。

実験結果

リサーチクエスチョン

• RQ1 方策勾配手法を、改善作用素と射影作用素の2つの基本的作用素の繰り返し適用として体系的にどのように捉えられるか？
• RQ2 Q学習のような価値ベース手法と方策勾配手法との間には、作用素の同値性という観点からどのような理論的関係があるか？
• RQ3 保守的方策改善を上回る、期待報酬の新たなグローバル下界を導出可能か？ また、訓練ダイナミクスをよりよく捉えるか？
• RQ4 エントロピー正則化、報酬の指数化、およびサーヴィェイランス目的関数といった、PG 手法における一般的な設計選択は、この作用素フレームワークにどのように統合されるか？
• RQ5 本作用素フレームワークを用いて、PPO や MPO、および α-ダイバージェンスに基づく模倣学習手法といった既存のアルゴリズムを統一的または再解釈可能か？

主な発見

• 方策勾配手法は、制約付き方策クラスへの射影作用素と方策改善作用素の交互適用として体系的に捉えられ、分析のための統一的フレームワークを提供する。
• 作用素フレームワーク下で、REINFORCE アルゴリズムがベルマン最適性作用素と同等であることが示され、方策ベースと価値ベース手法の間の深い関係が明らかになった。
• α-ダイバージェンスを用いて期待報酬の新たなグローバル下界が導出された。この下界は改善された方策からの逸脱をペナルティ化し、従来のサーヴィェイランス目的関数の過剰な保守性を回避する。
• エントロピー正則化が報酬の分散を増加させることを示し、これによりより大きな方策改善が保証され、訓練の安定化に寄与する理由が説明された。
• 完全な射影作用素への単一の勾配ステップですら、方策を改善することが保証される。これは、部分的射影戦略の理論的裏付けを提供する。
• MPO で用いられる報酬の指数化が、依然として有効な方策改善作用素を生成することを示し、実践でのその成功の背後にある理由を説明した。