[論文レビュー] Online Constrained Model-based Reinforcement Learning

Benjamin van Niekerk, Andreas Damianou+1 more|arXiv (Cornell University)|Apr 7, 2020

Gaussian Processes and Bayesian Inference参考文献 9被引用数 10

ひとこと要約

本稿では、スパーススペクトルガウス過程（SSGP）を用いた段階的ダイナミクス学習と、リアルタイム制約付き計画のためのリコーリングホライズン制御（RHC）を組み合わせた、データ効率的でオンラインのモデルベース強化学習手法、ガウス過程-リコーリングホライズン制御（GP-RHC）を提案する。この手法により、連続的なロボット環境における高速で安全かつ適応的な学習が可能となり、ラップタイムが3.86%短縮され、オンラインでのモデル更新によって制約の取り扱いが向上する。

ABSTRACT

Applying reinforcement learning to robotic systems poses a number of challenging problems. A key requirement is the ability to handle continuous state and action spaces while remaining within a limited time and resource budget. Additionally, for safe operation, the system must make robust decisions under hard constraints. To address these challenges, we propose a model based approach that combines Gaussian Process regression and Receding Horizon Control. Using sparse spectrum Gaussian Processes, we extend previous work by updating the dynamics model incrementally from a stream of sensory data. This results in an agent that can learn and plan in real-time under non-linear constraints. We test our approach on a cart pole swing-up environment and demonstrate the benefits of online learning on an autonomous racing task. The environment's dynamics are learned from limited training data and can be reused in new task instances without retraining.

研究の動機と目的

• 連続的な状態空間と行動空間におけるロボット強化学習において、データ効率性とリアルタイム計画の課題に取り組むこと。
• トラックの境界や障害物回避などの厳しい非線形制約下でも安全に動作できることを実現すること。
• ストリーミングセンサデータからのオンラインモデル更新を可能とし、学習速度とロバスト性を向上させること。
• 再トレーニングなしに学習済みのダイナミクスモデルを新しいタスクに再利用できることを可能とし、移譲性を高めること。
• 自動走行レースのような高速で安全が求められるロボットタスクへの適用可能性を示すこと。

提案手法

• ストリーミングセンサデータから段階的にダイナミクスモデルを学習するために、スパーススペクトルガウス過程（SSGP）を用いる。
• 内部点法ソルバ（FORCES）を用いたリコーリングホライズン制御（RHC）により、制約下でのリアルタイム最適化を実行する。
• 制約を緩和するためにスラック変数を導入し、コスト関数にペナルティを課すことで、最適化中に不可行解を避ける。
• 学習済みのダイナミクスモデルをRHCと統合し、連続的かつ制約付きの環境におけるオンライン計画と制御を可能にする。
• 最新の状態推定値と更新されたモデルを用いて、各タイムステップで再計画を行う有限ホライズン最適化フレームワークを採用する。
• 初期のダイナミクスモデルを、シンプルなオーバルトラックからの70点のデータセットを用いて学習し、再トレーニングなしに複雑な新規トラックへ一般化する。

実験結果

リサーチクエスチョン

• RQ1 スパーススペクトルガウス過程を用いたオンライン学習は、ロボティクス分野におけるモデルベース強化学習のデータ効率性と学習速度を向上させ得るか？
• RQ2 ソフト制約付き最適化を用いたリコーリングホライズン制御は、リアルタイムのロボット制御において複雑な非線形制約を適切に処理できるか？
• RQ3 オンラインでのモデル更新は、学習中の収束速度の向上と制約違反の低減に寄与するか？
• RQ4 シンプルなトラックで学習したダイナミクスモデルが、再トレーニングなしにより複雑なタスクに再利用可能である程度はどの程度か？
• RQ5 オンラインでのモデル適応は、高速な自律走行レースタスクにおけるパフォーマンスにどのように影響を与えるか？

主な発見

• オンラインモデル更新を適用した場合、ラップタイムが3.86%短縮された（2.745秒から2.639秒）。
• シンプルなオーバルトラックで70点のデータから学習したモデルが、急カーブを含む複雑なレーシングトラックへも成功して一般化した。
• 1コントロールステップあたり最大30回のSQP反復を用いて、リアルタイム計画を達成した。
• オンライン更新により、学習中の制約違反が顕著に減少し、安全性と一貫性が向上した。
• 同じ学習済みダイナミクスモデルを、レースや障害物回避といった異なるタスクに再利用可能であり、再トレーニングが不要であった。
• トラックを311mにスケーリングした場合、オンライン更新ありでラップタイムが4.56秒短縮され、平均速度が16.4 km/h向上した。