[論文レビュー] Path Integral Policy Improvement with Covariance Matrix Adaptation

Freek Stulp, Olivier Sigaud|arXiv (Cornell University)|Jun 18, 2012

Reinforcement Learning in Robotics参考文献 16被引用数 158

ひとこと要約

本論文では、経路積分方策改善（PI2）と共分散行列適応（CMA）を統合して、探索ノイズの大きさを自動で調整する新しい強化学習アルゴリズム、PI2-CMAを提案する。PI2の確率的方策探索とCMA-ESの適応的共分散行列を組み合わせることで、連続制御タスクにおけるサンプル効率と収束性が向上し、ベンチマーク環境においてPI2、CMA-ES、および交差エントロピー法を凌駆する。

ABSTRACT

There has been a recent focus in reinforcement learning on addressing continuous state and action problems by optimizing parameterized policies. PI2 is a recent example of this approach. It combines a derivation from first principles of stochastic optimal control with tools from statistical estimation theory. In this paper, we consider PI2 as a member of the wider family of methods which share the concept of probability-weighted averaging to iteratively update parameters to optimize a cost function. We compare PI2 to other members of the same family - Cross-Entropy Methods and CMAES - at the conceptual level and in terms of performance. The comparison suggests the derivation of a novel algorithm which we call PI2-CMA for "Path Integral Policy Improvement with Covariance Matrix Adaptation". PI2-CMA's main advantage is that it determines the magnitude of the exploration noise automatically.

研究の動機と目的

• 探索ノイズの大きさを自動で適応させることで、連続制御における強化学習のサンプル効率と収束性を向上させること。
• 探索ノイズの大きさを手動でチューニングする必要があるというPI2の制限を解消すること。
• PI2、CMA-ES、および交差エントロピー法の長所を統合した、統一的かつ適応的な方策最適化フレームワークを構築すること。
• 提案手法の性能を、標準的な制御タスクにおける既存の方策探索アルゴリズムと比較して評価すること。
• 経路積分の原則と共分散行列適応を統合した、原理的で堅牢な方策学習のためのアルゴリズムを導出すること。

提案手法

• PI2フレームワーク内でCMA-ESを適用して方策パラメータを最適化するハイブリッドアルゴリズムとしてPI2-CMAを提案する。
• 成功した軌道の確率的重み付け平均を用いて方策パラメータを更新する。これはPI2と同様の手法である。
• 反復ごとに探索ノイズ分布の共分散行列を自動で調整する共分散行列適応メカニズムを採用する。
• 方策パラメータに対して多変量正規分布を維持し、軌道の性能に基づいて平均と共分散を更新する。
• 高いパフォーマンスを示した軌道を優先する再重み付けスキームを適用する。これは交差エントロピー法と同様の手法である。
• 確率的最適制御の経路積分定式化に従って、方策パラメータ空間における自然勾配更新を適用する。

実験結果

リサーチクエスチョン

• RQ1 共分散行列適応は、連続制御タスクにおけるPI2のサンプル効率と収束性を向上させることができるか？
• RQ2 探索ノイズの大きさを自動で適応させることで、固定値または手動でチューニングされたノイズよりも優れた性能が得られるか？
• RQ3 CMA-ESおよび交差エントロピー法と比較して、PI2-CMAの収束速度と最終的パフォーマンスはどのように異なるか？
• RQ4 経路積分の原則とCMA-ESを統合することで、より堅牢で適応的な方策最適化アルゴリズムが得られるか？
• RQ5 PI2-CMAは、探索のハイパーパrameterを手動でチューニングすることなく、複雑な制御方策を学習できるか？

主な発見

• PI2-CMAは、逆ピラミッドやヒューマノイドタスクを含む標準的な連続制御ベンチマークで、PI2、CMA-ES、および交差エントロピー法を上回る性能を発揮する。
• 探索ノイズの共分散行列を自動で適応させることで、収束が速く、最終的なパフォーマンスも向上する。
• PI2における探索ノイズの手動チューニングの必要性が解消され、これは標準的なPI2における重要なハイパーパrameterである。
• CMA-ESをPI2フレームワークに統合することで、複数の環境にわたり、より堅牢で安定した学習プロセスが実現される。
• 実験結果から、PI2-CMAはベースライン手法と比較して、より低いコスト値と高いサンプル効率を達成している。
• 異なる初期方策パラメータ設定に対しても一貫したパフォーマンスを示しており、改善された堅牢性が裏付けられている。