[論文レビュー] Clipped Action Policy Gradient

Yasuhiro Fujita, Shin‐ichi Maeda|arXiv (Cornell University)|Feb 21, 2018

Reinforcement Learning in Robotics参考文献 21被引用数 14

ひとこと要約

本稿では、連続的制御タスクにおける行動クリッピングを明示的にモデル化することで分散を低減する、新たな方策勾配推定器であるClipped Action Policy Gradient（CAPG）を提案する。実行前に行動が有界な範囲にクリッピングされることに着目し、CAPGは従来の手法よりも分散が低く不偏な推定器を提供する。その結果、複数のMuJoCoベンチマークにおいて、より高いサンプル効率と性能が達成された。

ABSTRACT

Many continuous control tasks have bounded action spaces. When policy gradient methods are applied to such tasks, out-of-bound actions need to be clipped before execution, while policies are usually optimized as if the actions are not clipped. We propose a policy gradient estimator that exploits the knowledge of actions being clipped to reduce the variance in estimation. We prove that our estimator, named clipped action policy gradient (CAPG), is unbiased and achieves lower variance than the conventional estimator that ignores action bounds. Experimental results demonstrate that CAPG generally outperforms the conventional estimator, indicating that it is a better policy gradient estimator for continuous control tasks. The source code is available at https://github.com/pfnet-research/capg.

研究の動機と目的

• 有界な行動空間を有する連続的制御タスクにおける方策勾配推定の高分散を解消すること。
• 行動クリッピングの知識を方策勾配推定に組み込むことで、深く強化学習におけるサンプル効率と学習安定性を向上させること。
• 従来の方法が行動の境界を無視するのに対し、行動境界を考慮した不偏推定器を提案し、分散を低減すること。
• PPO や TRPO といった既存の深く強化学習アルゴリズムに、勾配の分散低減によってより良い性能をもたらすことを可能にすること。

提案手法

• CAPGは、実行前に行動が有界な範囲にクリッピングされることに着目した、新たな方策勾配推定器を導出する。
• この手法は、クリッピングされた行動空間における勾配の条件付き期待値を用い、不偏推定を保ちつつ分散を低減する。
• 行動がクリッピングされる領域における方策勾配の積分表現を活用し、その領域で行動価値関数が定数であることに着目する。
• 緩い仮定（例えば、ガウス方策における対角共分散）の下で導出され、標準的な方策パラメータ化に適用可能である。
• 制御変数や価値関数近似といった既存の分散低減技術と組み合わせてもバイアスを導入せず、適用可能である。
• 標準的な方策勾配計算に対する微分可能かつ簡単な修正として実装されており、既存のアルゴリズムへの組み込みに最小限の変更で済む。

実験結果

リサーチクエスチョン

• RQ1 連続的制御タスクにおいて、行動クリッピングを明示的にモデル化することで、方策勾配推定の分散を低減できるか？
• RQ2 行動クリッピングを考慮した不偏方策勾配推定器は、従来の推定器と比較してサンプル効率と学習安定性の面で優れているか？
• RQ3 PPO や TRPO といった人気のある深く強化学習アルゴリズムに統合した場合、CAPGの性能はいかがなっているか？
• RQ4 制御変数や価値関数近似といった既存の分散低減技術と、CAPGを効果的に組み合わせられるか？
• RQ5 PPO のように勾配更新がノイジーなアルゴリズムでは、CAPG の利点がより顕著に現れるか？

主な発見

• 緩い仮定（例えば、ガウス方策における対角共分散）の下で、CAPGは従来の方策勾配推定器よりも厳密に分散が低いことが示された。
• 提案された推定器は不偏であり、標準的な方策勾配手法と同等の計算複雑度を維持している。
• MuJoCo の連続的制御ベンチマークにおいて、CAPGは評価されたすべての環境で、従来の推定器と同等またはそれ以上の性能を達成した。
• より小さなミニバッチを使用し、勾配の分散に敏感であるPPOは、TRPOよりもCAPGによる性能向上が顕著に見られた。
• TRPOに対してもCAPGは効果を発揮したため、より頑健な最適化フレームワークにおいても分散低減が有効であることが示された。
• CAPGにより、ガウス方策は境界に近い高確率の行動を学習しやすくなり、ベータ分布や切断ガウス分布のような有界分布の挙動を模倣できるようになった。