[論文レビュー] Plan Online, Learn Offline: Efficient Learning and Exploration via Model-Based Control

Kendall Lowrey, Aravind Rajeswaran+3 more|arXiv (Cornell University)|Nov 5, 2018

Reinforcement Learning in Robotics参考文献 36被引用数 66

ひとこと要約

POLO はオンライン経路最適化をオフラインの価値関数学習と不確実性主導の探索と結びつけ、高次元の制御タスクにおける効率的な計画ベースの学習を可能にする。

ABSTRACT

We propose a plan online and learn offline (POLO) framework for the setting where an agent, with an internal model, needs to continually act and learn in the world. Our work builds on the synergistic relationship between local model-based control, global value function learning, and exploration. We study how local trajectory optimization can cope with approximation errors in the value function, and can stabilize and accelerate value function learning. Conversely, we also study how approximate value functions can help reduce the planning horizon and allow for better policies beyond local solutions. Finally, we also demonstrate how trajectory optimization can be used to perform temporally coordinated exploration in conjunction with estimating uncertainty in value function approximation. This exploration is critical for fast and stable learning of the value function. Combining these components enable solutions to complex simulated control tasks, like humanoid locomotion and dexterous in-hand manipulation, in the equivalent of a few minutes of experience in the real world.

研究の動機と目的

• 複雑な世界で内部ダイナミクスモデルを用いた継続的な行動と学習を動機付ける。
• 局所的軌道最適化がグローバルな価値関数学習と相互作用して学習を安定化・加速させる様子を示す。
• 近似的な価値関数が計画ホライズンを短縮し方策の質を向上させることを示す。
• 軌道最適化を用いて時系列的に協調した探索を行う探索戦略を開発する。

提案手法

• 名目ダイナミクスモデルに基づく局所的に最適な行動列を計算するためにモデルベースの軌道最適化（MPC）を用いる。
• 推定値反復をパラメトリック関数近似器で適用して、指針となるグローバルな価値関数 V を学習する。
• 複数の価値関数近似器を保持し、それらの出力のソフトマックスを使用して楽観的な価値推定を形成することで不確実性を考慮した探索を組み込む。
• 後方確率 over value functions の下で軌道を最適化して探索を計画することで時系列的に協調した探索を可能にする。
• 学習を加速し訓練を安定化させるために、価値関数更新のための N ステップの軌道ベースのターゲットを定義する（式7）。
• 経験を反復的に収集し、価値関数のアンサンブルを更新し、楽観的終端価値を用いて MPC を実行する。

実験結果

リサーチクエスチョン

• RQ1 軌道最適化と不確実性推定を組み合わせることで時系列的に協調した探索を可能にするか？
• RQ2 学習済みの価値関数がMPCに短い計画ホライズンの使用を許すかつ性能を損なわないか？
• RQ3 軌道最適化は高次元タスクにおいて価値関数学習を加速・安定化させるか？
• RQ4 POLO は実世界の経験が限られていても複雑なタスク（例：ヒューマノイドの移動、巧妙な操作）を解決できるか？

主な発見

• 軌道最適化は時系列的に協調された探索を指向的に可能にし、状態空間の領域カバーを改善する。
• 高次元タスクにおいてPOLO主導の計画ホライズンは単純なMPCより優れており、スキル習得が速く、性能が向上する。
• MPCでの長いホライズンは価値関数近似誤差をグリーディポリシーよりも頑健に許容する。
• Nステップの軌道最適化は価値関数学習を加速しターゲットを安定化させる。
• 学習済みの価値関数は報酬が希薄または変動する場合でもMPCを導いてタスクの進捗を達成させうる。