[論文レビュー] Model-free Reinforcement Learning for Robust Locomotion Using Trajectory Optimization for Exploration

Miroslav Bogdanović, Majid Khadiv+1 more|arXiv (Cornell University)|Jul 14, 2021

Robotic Locomotion and Control参考文献 19被引用数 5

ひとこと要約

本論文は、四足歩行ロボットにおける頑健な歩行を可能にするために、1つのデモンストレーション軌道を活用する2段階のモデルフリー強化学習フレームワークを提案する。最初の段階では、デモンストレーションが軌道最適化を介して初期探索を誘導する。2番目の段階では、タスクパフォーマンスおよび不確実性に対する頑健性を直接最適化することでポリシーを最適化し、追加の訓練を経ずに実世界でのデプロイメントに成功する。

ABSTRACT

In this work we present a general, two-stage reinforcement learning approach for going from a single demonstration trajectory to a robust policy that can be deployed on hardware without any additional training. The demonstration is used in the first stage as a starting point to facilitate initial exploration. In the second stage, the relevant task reward is optimized directly and a policy robust to environment uncertainties is computed. We demonstrate and examine in detail performance and robustness of our approach on highly dynamic hopping and bounding tasks on a real quadruped robot.

研究の動機と目的

• 1つのデモンストレーションから出発し、実ハードウェア上で頑健でデプロイ可能なポリシーに至る一般化された強化学習フレームワークの開発。
• 試行錯誤による訓練に依存するのを減らすために、デモンストレーションデータを用いて初期探索を誘導する。
• 2段階目の直接的なタスク報酬最適化により、環境の不確実性に対するポリシーの頑健性を向上させる。
• 追加の学習を経ずに、ホッピングやバウンシングなどの動的歩行ポリシーを実四足歩行ロボットにデプロイ可能にする。
• 軌道最適化とモデルフリー強化学習を組み合わせることで、効率的で頑健なポリシー学習が可能であることを示す。

提案手法

• 最初の段階では、デモンストレーション軌道を探索の出発点として用い、軌道最適化を介して有望なポリシー領域へとエージェントを誘導する。
• 2段階目では、モデルフリー強化学習アルゴリズムを用いてタスク報酬関数を直接最適化する。
• 訓練中に摂動を組み込むことで、環境の不確実性に対する一般化を確保するようにポリシーを訓練する。
• ダイナミクスモデルの学習を回避し、探索からのオフポリシー・データを用いた直接的ポリシー最適化に依存する。
• デモンストレーションからの探索誘導とエンドツーエンドのポリシー学習を統合することで、高速な収束と実世界でのデプロイメントを実現する。
• このフレームワークは、実四足歩行ロボットにおける動的ホッピングやバウンシングなどの高次元制御タスクに適用される。

実験結果

リサーチクエスチョン

• RQ1 1つのデモンストレーション軌道が、複雑な歩行タスクにおけるモデルフリー強化学習の探索を効果的に誘導できるか？
• RQ2 デモンストレーション誘導探索は、ポリシー学習におけるサンプル効率と収束性をどのように向上させるか？
• RQ3 直接報酬最適化により学習されたモデルフリーポリシーが、環境の不確実性に対してどの程度の頑健性を示せるか？
• RQ4 このような2段階アプローチにより、追加のチューニングを経ずに実ハードウェア上へのポリシーのデプロイが可能か？
• RQ5 この手法は、ホッピングやバウンシングのような高動的な歩行行動において、どのように性能を発揮するか？

主な発見

• 本手法は、1つのデモンストレーションと追加の訓練を一切経ずに、実四足歩行ロボット上で頑健な歩行ポリシーを成功裏に学習した。
• デモンストレーションにより探索の効率が著しく向上し、高パフォーマンスなポリシーへの収束が迅速化した。
• ポリシーは環境の摂動に対して強く、不確実性下でも安定した歩行を維持した。
• ホッピングやバウンシングなどの動的行動のハードウェア上でのデプロイが成功した。
• 広範な環境との相互作用やモデル学習の必要性が排除され、デプロイの障壁が低減された。