[論文レビュー] Data Efficient Reinforcement Learning for Legged Robots

Yuxiang Yang, Ken Caluwaerts+4 more|arXiv (Cornell University)|Jul 8, 2019

Robotic Locomotion and Control参考文献 29被引用数 28

ひとこと要約

本論文では、4.5分間の実世界データのみを用いて、四足歩行ロボットが頑健で高速な歩行を学習できるモデルベース強化学習フレームワークを提示する。これは、最先端のモデルフリー手法と比較して、10倍以上に及ぶ高いデータ効率を達成している。マルチステップ損失を用いた長時間予測のためのダイナミクスモデリング、遅延補償付きモデル予測制御（MPC）、および軌道生成器に基づく行動正則化を採用することで、安定した歩行が実現され、再訓練なしに報酬関数の変更により新しいタスクに一般化可能である。

ABSTRACT

We present a model-based framework for robot locomotion that achieves walking based on only 4.5 minutes (45,000 control steps) of data collected on a quadruped robot. To accurately model the robot's dynamics over a long horizon, we introduce a loss function that tracks the model's prediction over multiple timesteps. We adapt model predictive control to account for planning latency, which allows the learned model to be used for real time control. Additionally, to ensure safe exploration during model learning, we embed prior knowledge of leg trajectories into the action space. The resulting system achieves fast and robust locomotion. Unlike model-free methods, which optimize for a particular task, our planner can use the same learned dynamics for various tasks, simply by changing the reward function. To the best of our knowledge, our approach is more than an order of magnitude more sample efficient than current model-free methods.

研究の動機と目的

• モデルフリー強化学習による脚立ロボット歩行ポリシーの学習における高いデータ収集コストとハードウェアコストを低減すること。
• 正確な長時間ダイナミクスモデリングを活用したモデルベース計画を用いて、現実世界のロボット学習におけるデータ効率を向上させること。
• 計画の遅延を補償する手法を用いて、高周波数制御性能を維持しつつ、物理的ロボットにおけるリアルタイム制御を実現すること。
• 行動空間に脚の軌道に関する事前知識を埋め込むことで、モデル学習中の安全な探索を確保すること。
• 再訓練や微調整なしに、同じ学習済みダイナミクスモデルを異なる報酬関数と組み合わせることで、複数の歩行タスクに一般化可能にすること。

提案手法

• マルチステップ損失関数を導入し、複数ステップにわたるモデル誤差を追跡することで、計画中の誤差蓄積を低減し、長時間予測の精度を向上させる。
• 将来の状態を予測した状態から計画を開始することで、遅延補償付きのMPCを実装し、高周波数制御でもリアルタイム性能を達成する。
• GPUアクセラレーションを活用したサンプリングベースのCEM（クロスエントロピー法）プランナを採用し、リアルタイム制約下での効率的な行動シーケンス最適化を実現する。
• 軌道生成器（TG）を行動空間に埋め込むことで、滑らかで周期的な脚の運動を強制し、探索中の機械的ストレスを低減する。
• 収集した全軌道のリプレイバッファを用いて、定期的にダイナミクスモデルを再学習することで、学習時と実行時の分布シフトを低減する。
• データ収集とモデル学習をループで繰り返すことで、最小限のデータで継続的な改善が可能となる。

実験結果

リサーチクエスチョン

• RQ1 モデルベース強化学習フレームワークは、モデルフリー手法と比較して、はるかに少ない実世界データで頑健な脚立歩行を達成できるか？
• RQ2 接触が豊富な動的環境において、MPCに基づく制御を信頼できるものとするために、長時間にわたるモデルの不正確さをどのように緩和できるか？
• RQ3 リアルタイム制御システムにおいて、計画の遅延を補償するにはどのような技術が必要か？
• RQ4 ロボットのハードウェアを損傷させることなく、モデル学習中の安全な探索を実現するにはどうすればよいか？
• RQ5 同じ学習済みダイナミクスモデルを再訓練やファインチューニングなしに、複数の歩行タスクに一般化できるか？

主な発見

• 提案手法は、Minitaur四足歩行ロボット上で、36回のロールアウト（4.5分間の実世界データ）のみを用いて安定的かつ高速な歩行を達成した。これは、同じハードウェア上で最先端のモデルフリー手法と比較して、10倍のデータ効率向上を示している。
• マルチステップ損失関数により、長時間予測の精度が顕著に向上し、損失関数に含めるステップ数が増えるほど、モデルの予測軌道が真値軌道に近づくことが確認された。
• 遅延補償付きMPCにより、高速走行時でも制御性能を維持でき、非同期制御が導入されていない場合、0.4 m/sを超える速度では追従不能となった。
• 行動空間に軌道生成器を組み込むことで、滑らかで周期的なモーター動作が実現され、TGを省略した場合に発生したハードウェア損傷を防止できた。
• 学習済みダイナミクスモデルは、再訓練なしに新しいタスクに一般化可能であり、報酬関数の変更のみで新しい歩行パターンが得られ、優れたタスク転送能力を示した。
• アブレーションスタディの結果、CEMには少なくとも5回の反復と中程度の平滑化（γ = 0.5）が必要であり、最適な性能が得られる。また、450msの計画ホライズンが長期的リターンとモデル誤差感度の両面で最良のバランスを提供した。