[論文レビュー] Guided Policy Search via Approximate Mirror Descent

William Montgomery, Sergey Levine|arXiv (Cornell University)|Jul 15, 2016

Reinforcement Learning in Robotics参考文献 18被引用数 83

ひとこと要約

本論文は、教員方策を模倣する教師付き学習によって政策更新が導かれる、近似ミラー降下法として定式化された新しいガイド付き方策探索アルゴリズムを提案する。収束保証が厳しくなり、ハイパーパrameterが少なく、ロボット操作タスクにおいて先行手法と同等または優れた性能を達成する。

ABSTRACT

Guided policy search algorithms can be used to optimize complex nonlinear policies, such as deep neural networks, without directly computing policy gradients in the high-dimensional parameter space. Instead, these methods use supervised learning to train the policy to mimic a “teacher” algorithm, such as a trajectory optimizer or a trajectory-centric reinforcement learning method. Guided policy search methods provide asymptotic local convergence guarantees by construction, but it is not clear how much the policy improves within a small, finite number of iterations. We show that guided policy search algorithms can be interpreted as an approximate variant of mirror descent, where the projection onto the constraint manifold is not exact. We derive a new guided policy search algorithm that is simpler and provides appealing improvement and convergence guarantees in simplified convex and linear settings, and show that in the more general nonlinear setting, the error in the projection step can be bounded. We provide empirical results on several simulated robotic manipulation tasks that show that our method is stable and achieves similar or better performance when compared to prior guided policy search methods, with a simpler formulation and fewer hyperparameters.

研究の動機と目的

• 既存のガイド付き方策探索手法における有限反復における明確な改善保証の欠如を解決すること。
• ガイド付き方策探索を、制約多様体への不正確な射影を伴う近似ミラー降下法として解釈すること。
• 凸および線形設定における強い理論的収束保証を有する、より単純で安定性の高いアルゴリズムの開発。
• 非線形設定における射影誤差のバウンディングを行い、ロバスト性と収束性を保証すること。
• シミュレーテッドロボット操作タスクにおける実験的検証を通じて、性能の向上とハイパーパrameterチューニングの削減を確認すること。

提案手法

• 本手法は、制約多様体への射影が正確でない場合を想定し、ガイド付き方策探索を近似ミラー降下法として解釈する。
• 高次元空間における直接的な方策勾配計算を避けるために、教員方策を模倣する教師付き学習を用いて方策更新を定式化する。
• 正則化された目的関数を最小化することで、凸および線形設定において収束を保証する新しい更新ルールを導入する。
• 非線形設定では、近似射影によって生じる誤差をバウンディングし、収束に関する理論的保証を提供する。
• 最適化目的関数の単純化と複雑なスケジューリングの削除により、ハイパーパrameter数を削減する。
• 先行手法と比較するため、シミュレーテッドロボット操作タスクを用いて実験的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 ガイド付き方策探索を、理論的収束保証を伴う近似ミラー降下法として再解釈することは可能か？
• RQ2 ガイド付き方策探索における不正確な射影の影響は何か？ その誤差はバウンディング可能か？
• RQ3 より単純なガイド付き方策探索アルゴリズムは、より少ないハイパーパrameterで同等または優れた性能を達成可能か？
• RQ4 複雑なロボット制御タスクにおいて、提案手法の安定性と収束速度はどのように評価されるか？
• RQ5 ミラー降下法の解釈は、非線形方策最適化において、実験的にも性能向上をもたらすか？

主な発見

• 提案手法は、シミュレーテッドロボット操作タスクにおいて、先行するガイド付き方策探索手法と同等または優れた性能を達成する。
• 訓練中の安定性が向上し、既存のアプローチと比較してより少ないハイパーパrameterを必要とする。
• 凸および線形設定では、ミラー降下法の解釈のおかげで、強い理論的収束保証が得られる。
• 非線形方策では、近似射影によって生じる誤差がバウンディングされ、やや厳しい仮定のもとで収束が保証される。
• 実験結果から、単純化された定式化が、複雑な制御タスクにおいても高いサンプル効率とロバスト性を維持していることが示された。
• 複雑なスケジューリングやヒューリスティックチューニングへの依存が軽減され、実世界のロボットアプリケーションにおいてより実用的になった。