[論文レビュー] Data-Efficient Reinforcement Learning with Probabilistic Model Predictive Control

Sanket Kamthe, Marc Peter Deisenroth|arXiv (Cornell University)|Jun 20, 2017

Advanced Control Systems Optimization参考文献 35被引用数 110

ひとこと要約

モデルベースの RL フレームワークで、Gaussian Processes と確率的 MPC を用い、状態と制御の制約下でデータ効率の良い学習を実現。Pontryaginの最大原理による理論的保証。

ABSTRACT

Trial-and-error based reinforcement learning (RL) has seen rapid advancements in recent times, especially with the advent of deep neural networks. However, the majority of autonomous RL algorithms require a large number of interactions with the environment. A large number of interactions may be impractical in many real-world applications, such as robotics, and many practical systems have to obey limitations in the form of state space or control constraints. To reduce the number of system interactions while simultaneously handling constraints, we propose a model-based RL framework based on probabilistic Model Predictive Control (MPC). In particular, we propose to learn a probabilistic transition model using Gaussian Processes (GPs) to incorporate model uncertainty into long-term predictions, thereby, reducing the impact of model errors. We then use MPC to find a control sequence that minimises the expected long-term cost. We provide theoretical guarantees for first-order optimality in the GP-based transition models with deterministic approximate inference for long-term planning. We demonstrate that our approach does not only achieve state-of-the-art data efficiency, but also is a principled way for RL in constrained environments.

研究の動機と目的

• データ効率の悪さを解消するため、確率的ダイナミクスを持つモデルベース手法を用いる。
• モデルの不確実性を長期計画に組み込み、モデル誤差の影響を低減する。
• 計算負担を管理し、制約処理を可能にするために短いホライズンを用いたモデル予測制御で計画する。
• GPベースのダイナミクスと決定論的推論の下で一階条件最適性の理論保証を提供する。
• 状態と制御の制約を満たしつつデータ効率を維持する。

提案手法

• ガウス過程を用いてダイナミクスと不確実性を捉える確率的遷移モデルを学習する。
• モーメントマッチングを用いてGPベースの不確実性を時間を通じて伝播させ、決定論的な長期予測を得る。
• 確率的 MPC 問題を決定論的最適化問題として再定式化し、制約付き計画のために Pontryagin’s Maximum Principle を適用する。
• GP ダイナミクスを用いた MPC 内でオープンループ最適化を使用し、ハミルトニアンを介して効率的な勾配を導出して SQP/BFGS ベースの最適化を行う。
• ポリシーのパラメータ化に依存せず、PMP ベースの最小条件を通じて状態と制約を組み込む。
• 全体の再計画せずに各試行後にGPモデルをオンライン更新して計画を洗練する。

実験結果

リサーチクエスチョン

• RQ1 GP ダイナミクスを用いた確率的 MPC は、ベンチマーク制御タスク上で PILCO よりデータ効率の高い学習をもたらしますか？
• RQ2 このアプローチはデータ効率と最適性を維持しつつ状態と制約を扱えますか？
• RQ3 計画に GP の不確実性を組み込むことは、学習中の安全性と制約遵守にどのような影響を与えますか？

主な発見

実験	PILCO	GP-MPC-Mean	GP-MPC-Var
Cart-pole	16/100	21/100	3/100
Double Pendulum	23/100	26/100	11/100

• GP-MPC は cart-pole および double-pendulum の振る舞いで PILCO をデータ効率で上回る。
• GP-MPC は試行回数が少なく高い成功率を達成：cart-pole は約 6 回の試行後に 90% の成功、double pendulum も約 6 回の試行後、PILCO はより多くの試行を必要とする。
• 制約設定では、不確実性を伴う GP-MPC (GP-MPC-Var) が一貫してタスクを解く一方、平均のみの計画 (GP-MPC-Mean) は一部のケースで苦戦し、PILCO はしばしば制約を違反する。
• 確率制約を用いる GP-MPC は、平均ベースの計画と比べて期待違反を著しく低減し、安全性のために不確実性をモデル化する重要性を示す。
• この手法は PMP とモーメントマッチング GP ダイナミクスによる理論的保証を提供しつつ、データ効率の最先端を達成している。