[論文レビュー] Guided Policy Search as Approximate Mirror Descent

William Montgomery, Sergey Levine|arXiv (Cornell University)|Jul 15, 2016

Reinforcement Learning in Robotics参考文献 16被引用数 15

ひとこと要約

本稿では、ポリシー最適化を近似ミラー降下として解釈することで、安定したステップサイズ制御による改善が可能となり、ハイパーパrameterが少ない新しいガイド付きポリシー探索アルゴリズム、ミラー降下誘導ポリシー探索（MDGPS）を提案する。ロボットナビゲーションおよび操作タスクにおいて、先行手法と同等またはそれ以上の性能を達成しており、凸性と非線形設定における有界誤差のもとで理論的収束保証が得られる。

ABSTRACT

Guided policy search algorithms can be used to optimize complex nonlinear policies, such as deep neural networks, without directly computing policy gradients in the high-dimensional parameter space. Instead, these methods use supervised learning to train the policy to mimic a "teacher" algorithm, such as a trajectory optimizer or a trajectory-centric reinforcement learning method. Guided policy search methods provide asymptotic local convergence guarantees by construction, but it is not clear how much the policy improves within a small, finite number of iterations. We show that guided policy search algorithms can be interpreted as an approximate variant of mirror descent, where the projection onto the constraint manifold is not exact. We derive a new guided policy search algorithm that is simpler and provides appealing improvement and convergence guarantees in simplified convex and linear settings, and show that in the more general nonlinear setting, the error in the projection step can be bounded. We provide empirical results on several simulated robotic navigation and manipulation tasks that show that our method is stable and achieves similar or better performance when compared to prior guided policy search methods, with a simpler formulation and fewer hyperparameters.

研究の動機と目的

• 既存のガイド付きポリシー探索手法における性能保証の欠如とハイパーパrameterへの感受性の高さを解消すること。
• ポリシー制約のもとで、ガイド付きポリシー探索を近似ミラー降下アルゴリズムとしての原理的解釈を提供すること。
• より単純で安定性の高いアルゴリズムを導出することにより、制限付き射影誤差が有界であることを保証し、連続的な改善を実現すること。
• KLダイバージェンスを用いたポリシーコストの既存の境界を拡張し、ステップサイズ選択の実用的指針を提供すること。
• 複雑なロボットタスクにおける手法の実証的妥当性を検証し、調整を減らした状態で優れたまたは同等の性能を示すこと。

提案手法

• ガイド付きポリシー探索を、監視学習が制約多様体への射影として機能する近似ミラー降下として解釈する。
• 軌道最適化（Cステップ）と監視学習によるポリシー学習（Sステップ）を交互に実行する新しいアルゴリズム、MDGPSを導入する。
• ステップサイズを用いてポリシー更新の度合いを制御し、ダイナミクスとポリシー空間が非線形である場合の射影ステップにおける誤差に理論的境界を設ける。
• ポリシー更新と制約満たしのトレードオフをバランスさせるために、グローバルステップサイズルールを提案し、単調な改善を保証する。
• ポリシー内サンプリングとポリシー外サンプリングの両方をサポートし、特に複雑なタスクにおいては、ポリシー外サンプリングが収束を速め、一般化性能を向上させる。
• 先行研究を拡張し、KLダイバージェンスを用いたポリシーコストの境界を導出し、ステップサイズ選択に情報を与え、連続的な改善を保証する。

実験結果

リサーチクエスチョン

• RQ1 ガイド付きポリシー探索は、ミラー降下の近似版として解釈可能であり、収束性と安定性にどのような影響を及えるか？
• RQ2 非線形設定におけるガイド付きポリシー探索の射影誤差をどのように有界化できるか？連続的な改善を保証する条件は何か？
• RQ3 ステップサイズがポリシー改善に与える影響は何か？自動化されたルールを導出し、ハイパーパrameterの調整を減らせるか？
• RQ4 BADMMのような先行ガイド付きポリシー探索手法と比較して、本手法は性能と頑健性においてどのように異なるか？
• RQ5 本手法は、より少ないハイパーパrameterと手動調整で、優れたまたは同等の性能を達成できるか？

主な発見

• MDGPSは、特にポリシー内サンプリングを用いる場合、ポリシー性能の一貫性と単調な改善を達成しており、安定した学習が保証される。
• ブラインドペグ挿入タスクにおいて、グローバルステップサイズを用いたMDGPSは12反復後に85.19%の成功率を達成し、同じ条件下でBADMMの75%を上回った。
• MDGPSのポリシー外バージョンは、ブラインドペグタスクで92.59%の成功率に達し、同じ反復回数でBADMMの77.78%を著しく上回った。
• MDGPSはBADMMと比較して顕著に少ないハイパーパrameterの調整で済む。BADMMは増大ラグランジュ重み、双対ステップサイズ、局所ポリシーのステップサイズの調整が必須である。
• 理論的分析により、非線形設定における射影誤差がステップサイズによって有界であることが示され、ステップサイズが十分に小さい場合には連続的な改善が保証される。
• 実験的結果により、本手法はナビゲーションおよびビジョンベースの操作を含む複数のシミュレーテッドロボットタスクにおいて安定的かつ効果的であることが確認された。