[論文レビュー] Distributional Policy Optimization: An Alternative Approach for Continuous Control

Chen Tessler, Guy Tennenholtz+1 more|arXiv (Cornell University)|May 23, 2019

Reinforcement Learning in Robotics参考文献 36被引用数 15

ひとこと要約

本稿では、行動空間内の任意の分布を最適化することにより、パrametric族に依存する方策勾配法の制限を回避する、連続制御のための新規フレームワークである分布的方策最適化（DPO）を提案する。量的回帰と暗黙的量的ネットワークを用いて訓練される生成的アービタークリティックアーキテクチャを用いることで、明示的な密度勾配に依存せず、MuJoCo環境において最先端のベースラインと同等または優れた性能を達成する。

ABSTRACT

We identify a fundamental problem in policy gradient-based methods in continuous control. As policy gradient methods require the agent's underlying probability distribution, they limit policy representation to parametric distribution classes. We show that optimizing over such sets results in local movement in the action space and thus convergence to sub-optimal solutions. We suggest a novel distributional framework, able to represent arbitrary distribution functions over the continuous action space. Using this framework, we construct a generative scheme, trained using an off-policy actor-critic paradigm, which we call the Generative Actor Critic (GAC). Compared to policy gradient methods, GAC does not require knowledge of the underlying probability distribution, thereby overcoming these limitations. Empirical evaluation shows that our approach is comparable and often surpasses current state-of-the-art baselines in continuous domains.

研究の動機と目的

• 連続制御における方策勾配法の根本的制限に取り組むこと。これは、パラメトリック分布に依存するため、局所的改善に限定される点に起因する。
• ガウス分布やベータ分布などのパラメトリック方策族の非凸性が、最適でない解への収束を制限する問題を克服すること。
• 連続行動空間における任意の分布に対する最適化を可能にする分布的フレームワークを開発し、より広範な方策探索を保証すること。
• 潜在的な確率密度関数の明示的知識が不要な生成的アービタークリティカルアルゴリズム（GAC）を設計すること。
• 提案手法が、連続制御ベンチマークにおいて、最先端の方策勾配法およびSACベースのアプローチと比較して、競争的または優れた性能を達成することを示すこと。

提案手法

• 方策を行動上の分布として扱い、分布間の距離最小化により最適化可能な、分布的方策最適化（DPO）フレームワークを提案する。
• オフポリシー経験と量的回帰を用いて訓練される、行動の累積分布関数を近似する生成モデルを構築し、方策を分布として表現する。
• クリティックが行動価値関数を推定するアーキテクチャを採用し、アドバンテージ関数を用いて、負のアドバンテージを持つ行動を優遇するターゲット分布を定義する。
• 自己回帰的暗黙的量的ネットワーク（AIQN）を用いて生成的方策をモデル化し、明示的な密度計算なしに微分可能なサンプリングと分布表現を可能にする。
• アドバンテージに基づく行動選択から導出されるターゲット分布と一致するように、予測分布を最小化する量的回帰損失を用いて生成的方策を訓練する。
• 方策最適化を明示的な対数確率勾配から分離し、方策勾配法に内在する局所的更新ダイナミクスを回避する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック分布族に依存する制限が局所的更新に限定する方策勾配法の制限を越えることで、連続制御における方策最適化が向上するか？
• RQ2 行動空間における任意の分布に対する最適化を可能にする分布的フレームワークは、標準の方策勾配法と比較して、より優れた収束性と性能を発揮するか？
• RQ3 量的回帰と暗黙的密度モデリングを用いて訓練される生成的アービタークリティカルアプローチは、既存の最先端手法を連続制御タスクで上回るか？
• RQ4 提案手法は、非凸な連続制御問題における方策勾配法の最適でない収束問題をどの程度軽減するか？
• RQ5 提案手法の計算複雑性は、標準の方策勾配法およびSACベースのアプローチと比較してどの程度か？また、実世界の展開に向けた改善は可能か？

主な発見

• 提案された生成的アービタークリティカル（GAC）手法は、MuJoCo連続制御ベンチマークにおいて、最先端の方策勾配法およびSACベースのベースラインと同等または優れた性能を達成する。
• パラメトリック族ではなく任意の分布を最適化することで、ガウス分布やベータ分布などの非凸性に起因する局所的改善の罠を回避する。
• 方策の確率密度関数の明示的計算を必要としないため、より柔軟でグローバルな方策更新が可能になる。
• 理論的性質の向上にもかかわらず、生成的モデリングと量的回帰のコンponentsに起因し、標準の方策勾配法よりも高い計算複雑性を示す。
• 信頼領域最適化やエントロピー正則化といった既存の改善策と互換性があるため、Soft Actor-Criticなどのアルゴリズムとの統合の可能性を示唆する。
• 実験的結果から、GACが複雑で非凸な行動空間を効果的に探索でき、混合モデルで一般的に見られる数値的不安定性に依存せずに安定した学習を達成できることを示している。