[論文レビュー] Supervised Policy Update for Deep Reinforcement Learning

Quan Vuong, Yiming Zhang+1 more|arXiv (Cornell University)|May 29, 2018

Reinforcement Learning in Robotics被引用数 3

ひとこと要約

本論文は、最初に制約付き最適化を用いて非パrameterizedな近接方策を最適化し、その後で教師付き回帰による知識蒸留を通じてパラメータ化された方策に変換する、サンプル効率に優れた深層強化学習手法であるSupervised Policy Update (SPU)を提案する。SPUはMujocoタスクにおいてTRPOを上回り、AtariゲームにおいてはPPOを上回り、実装がTRPOより単純であるにもかかわらず、多様な環境において優れたサンプル効率と頑健性を示す。

ABSTRACT

We propose a new sample-efficient methodology, called Supervised Policy Update (SPU), for deep reinforcement learning. Starting with data generated by the current policy, SPU formulates and solves a constrained optimization problem in the non-parameterized proximal policy space. Using supervised regression, it then converts the optimal non-parameterized policy to a parameterized policy, from which it draws new samples. The methodology is general in that it applies to both discrete and continuous action spaces, and can handle a wide variety of proximity constraints for the non-parameterized optimization problem. We show how the Natural Policy Gradient and Trust Region Policy Optimization (NPG/TRPO) problems, and the Proximal Policy Optimization (PPO) problem can be addressed by this methodology. The SPU implementation is much simpler than TRPO. In terms of sample efficiency, our extensive experiments show SPU outperforms TRPO in Mujoco simulated robotic tasks and outperforms PPO in Atari video game tasks.

研究の動機と目的

• 環境との相互作用が高コストであるオンポリシー深層強化学習におけるサンプル効率の向上という重要な課題に取り組む。
• 離散的および連続的アクション空間の両方に適用可能な一般化されたフレームワークを構築し、近接制約を通じて方策の安定性を維持する。
• TRPOのような信頼領域法の実装を簡素化しつつ性能を向上させ、複雑な2次最適化を回避する。
• 最小限のハイパーパramータ感度を実現し、実世界の強化学習応用における実用性を高める。
• 方策最適化を2段階に分ける新たなパラダイムを提供する：非パラメータ化された最適方策探索、その後に教師付き学習によるパラメータ化。

提案手法

• KLダイバージェンスなどの距離尺度を用いて、非パラメータ化された近接方策空間における制約付き最適化問題を定式化し、方策更新が現在の方策に近いままに保たれるようにする。
• 制約付き最適化問題を解き、新たに収集したデータに基づいて期待報酬を最大化する最適な非パラメータ化方策を求める。
• 教師付き回帰を用いて最適な非パラメータ化方策をパラメータ化された方策にマッピングし、効率的なサンプリングと学習を可能にする。
• 状態ごとの受容基準と動的停止メカニズムを導入し、状態別KLダイバージェンスと勾配ノルムに基づいて学習の安定性と収束性を向上させる。
• NPG/TRPOおよびPPOで用いられる近接制約を一般化した最適化フレームワークにより、複数の近接制約をサポートする。
• 勾配ノルムとKLダイバージェンスに基づく適応的学習率と早期停止を用いて、蒸留された方策をターゲットとしてパラメータ化方策を再学習する。

実験結果

リサーチクエスチョン

• RQ1 非パラメータ化方策の最適化とその後の教師付きパラメータ化という2段階のポリシー更新フレームワークは、従来のオンポリシー手法よりも優れたサンプル効率を達成できるか？
• RQ2 SPUはMujocoやAtariのような多様な環境において、TRPOやPPOと比較してどの程度優れた性能を示すのか、特にサンプル効率と最終的性能の観点から。
• RQ3 高次元かつ多様な強化学習環境において、SPUの性能はハイパーパramータの選択に対してどの程度頑健か？
• RQ4 SPUアルゴリズムのどの要素（例：KLダイバージェンスの勾配に基づく正則化、状態ごとの受容）が高パフォーマンス達成に最も寄与しているか？
• RQ5 方策探索とパラメータ化を分離することで、TRPOより単純な実装でも優れた性能を達成できるか？

主な発見

• 10のMujoco環境において、300万ステップ後の最終的パフォーマンスでSPUはTRPOを28%上回り、優れたサンプル効率を示した。
• 60のAtariゲームにおいて、SPUはPPOの平均最終パフォーマンスを55%改善し、15の環境でPPOの9より高い性能向上を達成した。
• KLダイバージェンスの勾配（$\nabla_{\theta}D_{\text{KL}}$）の成分がパフォーマンスに最も寄与しており、その除去によりSPUの性能向上が85%減少した。
• 状態ごとの受容と動的停止の両方が不可欠であり、特に状態ごとの受容が最も大きな影響を及ぼしており、その除去によりパフォーマンスが67%低下した。
• SPUの性能は非常に頑健である：100回のランダムなハイパーパramータ試行において、すべてのSPUバージョンがTRPOを上回り、うち75%がTRPOを18%以上上回った。
• SPUはTRPOよりも単純であるにもかかわらず、MujocoおよびAtariにおいてサンプル効率の最先端のパフォーマンスを達成しており、後者の分野ではPPOをも上回っている。