[論文レビュー] Marginal Policy Gradients: A Unified Family of Estimators for Bounded Action Spaces with Applications

Carson Eisenach, Haichuan Yang+2 more|arXiv (Cornell University)|Jun 13, 2018

Reinforcement Learning in Robotics参考文献 30被引用数 5

ひとこと要約

本稿では、有界な行動空間における方向制御のための分散低減型方策勾配推定子である角方策勾配（APG）を紹介する。特に、行動が単位ベクトルであるリアルタイムストラテジー（RTS）ゲームにおいて関連性が高いためである。APGは統一的マージナル方策勾配（MPG）族に属し、方策を単位球面上にモデル化し、変換 T(a) = a/||a|| を適用することで勾配の分散を低減し、ナビゲーションおよびキング・オブ・グロリィ 1v1 の両方のプレイにおいて、標準的方策勾配を上回る性能を発揮する。

ABSTRACT

Many complex domains, such as robotics control and real-time strategy (RTS) games, require an agent to learn a continuous control. In the former, an agent learns a policy over $\mathbb{R}^d$ and in the latter, over a discrete set of actions each of which is parametrized by a continuous parameter. Such problems are naturally solved using policy based reinforcement learning (RL) methods, but unfortunately these often suffer from high variance leading to instability and slow convergence. Unnecessary variance is introduced whenever policies over bounded action spaces are modeled using distributions with unbounded support by applying a transformation $T$ to the sampled action before execution in the environment. Recently, the variance reduced clipped action policy gradient (CAPG) was introduced for actions in bounded intervals, but to date no variance reduced methods exist when the action is a direction, something often seen in RTS games. To this end we introduce the angular policy gradient (APG), a stochastic policy gradient method for directional control. With the marginal policy gradients family of estimators we present a unified analysis of the variance reduction properties of APG and CAPG; our results provide a stronger guarantee than existing analyses for CAPG. Experimental results on a popular RTS game and a navigation task show that the APG estimator offers a substantial improvement over the standard policy gradient.

研究の動機と目的

• 行動が有界な空間（例：RTSゲームにおける単位球面）に制限される場合の、方策勾配法における高い分散を解消すること。
• 区間有界行動と方向的行動の両方に適用可能な、分散低減型方策勾配推定の統一的フレームワークを構築すること。
• マージナル方策勾配（MPG）族に対する分散低減の理論的保証を提供し、先行研究であるクリッピング行動方策勾配（CAPG）を拡張すること。
• 複雑な方向的行動空間を有する環境（MOBAゲームやナビゲーションタスクを含む）において、APGの有効性を実証すること。
• 行動が球面上の連続的パラメータで定義されるパrametrized行動空間において、安定的かつサンプル効率の良い学習を可能にすること。

提案手法

• 変換 T を用いて行動空間を変換する一様な推定子クラスであるマージナル方策勾配（MPG）族を提案する。この族は、CAPG と APG を一般化し、決定的変換 T を介して変換された行動空間上に方策をモデル化する。
• 方向制御のための角方策勾配（APG）推定子を設計する。行動が単位ベクトル（例：移動方向や攻撃方向）である状況を想定し、単位球面上の方策をvon Mises分布を用いてモデル化する。
• T(a) = a/||a|| を適用して、制約なしの行動を単位球面にマップすることで、有効な行動が常に有界かつ環境要件に適合するように保証する。
• T における行動の周辺分布を活用することで、不偏かつ分散低減型の方策勾配推定子を導出する。これにより、高い分散を持つ状況でも安定した学習が可能になる。
• APG を A3C や TRPO、PPO といった標準的深層強化学習フレームワークと統合し、価値関数近似や一般化された利得推定と互換性を持たせる。
• 報酬形状付けに線形ポテンシャル関数を用い、ゲーム状態（例：ヒーローのHP、クリスタルのHP）から導出される特徴量を活用することで、信用配分の改善と学習安定性の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 区間有界行動と方向的（球面的）行動の両方を扱える、分散低減型方策勾配推定子の統一的族を構築可能か？
• RQ2 角方策勾配（APG）は、方向的制御タスクにおいて、標準的方策勾配と比較して収束速度と最終的パフォーマンスで優れているか？
• RQ3 行動変換を伴う環境において、マージナル方策勾配フレームワークは、標準的方策勾配法と比較して、どの程度勾配の分散を低減するか？
• RQ4 MPGフレームワークは、CAPG や他の既存手法と比較して、より強い理論的分散低減保証を提供するか？
• RQ5 APG は、MOBAゲームや連続的制御タスクのような複雑で高次元な環境において、優れたサンプル効率と安定性を達成できるか？

主な発見

• Platform2D-v1 ナビゲーションタスクにおいて、角方策勾配（APG）推定子は、標準的方策勾配と比較して著しく高速な収束と高い最終的累積割引報酬を達成した。
• キング・オブ・グロリィ 1v1 MOBAゲームにおいて、APGエージェントは標準的方策勾配ベースラインと比較して、顕著に高い勝率と累積報酬を達成した。
• 初期化時および収束時において、マージナル方策勾配推定子の分散は、標準的方策勾配推定子の約半分であった。これは理論的分散低減の主張を裏付けるものである。
• 価値関数推定が不正確（初期学習段階）であっても、APG推定子は標準手法よりも低い分散を維持していた。これは、批判者（critic）の誤差に対しても頑健であることを示している。
• APGは、周期的行動空間（例：方向移動）を効果的に処理でき、標準的なガウス方策と正規化を用いる手法が高分散とバイアスを引き起こす状況でも有効であった。
• 理論的分析により、APG と CAPG が両方ともマージナル方策勾配族の特殊ケースであることが確認され、従来の分析と比較してより強い分散低減保証が得られることも示された。