[論文レビュー] Implicit Policy for Reinforcement Learning

Yunhao Tang, Shipra Agrawal|arXiv (Cornell University)|Jun 10, 2018

Reinforcement Learning in Robotics参考文献 38被引用数 7

ひとこと要約

本稿では、強化学習における柔軟な確率的方策のクラスとして、Implicit Policyを導入し、効率的なエントロピー正則化付き方策勾配計算を可能にする。正規化フローとブラックボックス密度推定を活用することで、軌道レベルのエントロピー最大化を必要とせず、多峰性で頑健な行動を実現し、複雑な制御タスクにおいて標準的方策を上回る性能を達成する。

ABSTRACT

We introduce Implicit Policy, a general class of expressive policies that can flexibly represent complex action distributions in reinforcement learning, with efficient algorithms to compute entropy regularized policy gradients. We empirically show that, despite its simplicity in implementation, entropy regularization combined with a rich policy class can attain desirable properties displayed under maximum entropy reinforcement learning framework, such as robustness and multi-modality.

研究の動機と目的

• エントロピー正則化の単純さと、ロバストネスや多峰性といった最大エントロピーRLの望ましい性質との間のギャップを埋めること。
• 方策密度が解析的に求められない場合でも、エントロピー正則化付き方策勾配の効率的計算を可能にする、一般化された表現力のある方策クラスの開発。
• 1つの確率的方策を用いて、複雑で多峰性を持つ専門家行動を効果的に模倣すること。
• 表現力のある方策を用いたエントロピー正則化が、計算コストの高い最大エントロピーRLに匹敵する性能を達成しつつ、その計算的オーバーヘッドを回避できることの実証。

提案手法

• Implicit Policyを、確率的方策を表現する汎用フレームワークとして提案し、そこから2つの具体的なクラス（正規化フロー方策（NFP）と非可逆ブラックボックス方策（NBP））を導出。
• NFPを設計し、状態情報を正規化フローに埋め込み、行動分布の柔軟かつ正規化可能な密度推定を可能にする。
• NBPを導入し、密度が解析的に得られない任意の方策アーキテクチャ（例：複雑なニューラルネットワーク方策）に対応し、スコアベース勾配推定を用いる。
• パスワイズ勾配とスコア関数勾配を用いて、オンポリシーおよびオフポリシー設定の両方に対応するエントロピー正則化付き方策勾配の効率的推定器を導出。
• エントロピー正則化が最大エントロピー目的の下界を最適化することを示し、軌道レベルのエントロピー最大化の代理としての妥当性を裏付ける。
• NBPはGANベースの模倣学習で、NFPは最尤推定に基づく行動クラーニングで訓練され、専門家のデモンストレーションから多峰性方策の学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化と表現力のある方策を組み合わせることで、軌道エントロピーを直接最適化しないにもかかわらず、最大エントロピーRLが特徴づけるロバストネスと多峰性を達成できるか？
• RQ2 複雑なニューラルネットワーク方策において、方策密度が解析的に得られない場合に、どのように効率的に方策勾配を計算できるか？
• RQ3 1つの暗黙的方策が、ロボットの前向き・後ろ向き遊泳といった複数の明確な行動モードを効果的に学習・表現できるか？
• RQ4 提案手法が、訓練効率を維持しつつ、標準的ガウス方策を上回る性能を多峰性制御タスクで達成できるか？

主な発見

• エントロピー正則化付きImplicit Policyは、HalfCheetah や Hopper といった標準ベンチマーク環境において、最大エントロピーRLと同等の性能を達成する。
• NBPエージェントは、ダブルウェル問題において、二峰性を持つ専門家方策を効果的に模倣し、異なる状態で両方の行動モードを捉えることに成功した。
• 訓練済みのNBPおよびNFPエージェントが生成する軌道は、確率的スイマー環境において専門家の軌道と密接に一致しており、前向きと後ろ向きの遊泳モードの融合が実現されていることを示している。
• アブレーションスタディの結果、NBPの初期分散パラメータ ρ に感度が高く、ρ ∈ {−4.0, −5.0, −6.0} の範囲で最も良い結果が得られた。
• NFPに関しては、層数 K やユニット数 k を増やすことで表現力が向上するが、性能の向上は一貫しないことから、ハイパーパramータの選択に対して頑健であることが示された。
• 正のエントロピー係数 β > 0 が多峰性学習を著しく改善する一方、β = 0.0 の場合、多峰性タスクであっても単峰性方策に収束する。