[論文レビュー] Rapidly Adaptable Legged Robots via Evolutionary Meta-Learning

Xingyou Song, Yuxiang Yang+5 more|arXiv (Cornell University)|Mar 2, 2020

Reinforcement Learning in Robotics参考文献 45被引用数 11

ひとこと要約

本論文は、バッチ勾配上昇（BHC）と遺伝的戦略に基づくメタラーニング（ES-MAML）を組み合わせたノイズ耐性のある進化的メタラーニングフレームワークを提案し、脚部ロボットが現実世界の動的変化に迅速に適応できるようにする。この手法は、3分未満の現実世界データを用いても、変動電池電圧や滑りやすい表面といった高ノイズ環境において、勾配ベースのMAML手法を著しく上回る頑健な適応を実現する。

ABSTRACT

Learning adaptable policies is crucial for robots to operate autonomously in our complex and quickly changing world. In this work, we present a new meta-learning method that allows robots to quickly adapt to changes in dynamics. In contrast to gradient-based meta-learning algorithms that rely on second-order gradient estimation, we introduce a more noise-tolerant Batch Hill-Climbing adaptation operator and combine it with meta-learning based on evolutionary strategies. Our method significantly improves adaptation to changes in dynamics in high noise settings, which are common in robotics applications. We validate our approach on a quadruped robot that learns to walk while subject to changes in dynamics. We observe that our method significantly outperforms prior gradient-based approaches, enabling the robot to adapt its policy to changes based on less than 3 minutes of real data.

研究の動機と目的

• 勾配ベースの手法が信頼性の低い報酬信号のため失敗する、ノイズの多い現実世界のロボット環境における迅速なポリシー適応の課題に対処すること。
• ハードウェアのばらつき、センサーノイズ、環境の摂動による高い確率的ばらつきが生じる状況下でも、メタラーニングされたポリシーの頑健性を向上させること。
• 微分不能でデータ効率の良い適応演算子を設計し、現実世界のノイズ下で標準的な平均化や勾配ベースの手法を凌駕すること。
• 低電池や追加の荷重といった急激な動的変化が生じる状況下で、実機の四足歩行ロボット（Minitaur）に対して本手法を検証すること。
• 進化的メタラーニングとBHCを組み合わせることで、分布外設定において最先端のPG-MAML手法よりも高速かつ信頼性の高い適応が可能であることを実証すること。

提案手法

• 複数の摂動を加えたポリシー・パラメータを並列に評価できる、微分不能でノイズ耐性のある適応演算子としてバッチ勾配上昇（BHC）を導入する。
• BHCを遺伝的戦略に基づくメタラーニング（ES-MAML）と組み合わせ、迅速な適応を可能にするポリシー・パラメータのメタ最適化を実現する。
• 高ノイズ環境下での決定論的適応に適した、より安定性の高いコンパクトな線形ポリシーを採用する。
• 適応段階で並列評価（P）を活用し、サンプル効率を向上させるとともに、報酬推定の分散を低減する。
• メタトレーニング段階でポリシー・パラメータにガウス分布の摂動を適用し、摂動バッチ全体の報酬最大化に基づいて適応を誘導する。
• 現実世界の確率的ばらつきを模倣するため、観測ノイズやランダムな力が加わったシミュレーションで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 BHCのような微分不能でノイズ耐性のある適応演算子は、高ノイズの現実世界のロボット適応において、勾配ベースの手法を上回ることができるか？
• RQ2 BHCをES-MAMLに統合することで、現実世界の設定においてPG-MAMLよりも高速かつ信頼性の高い動的変化への適応が可能になるか？
• RQ3 ノイズの多い環境下で、BHCの性能は複数のロールアウトにおける報酬の平均化と比較してどうなるか？
• RQ4 完全にシミュレーションで訓練されたポリシーは、低電圧や追加の荷重といった現実世界の動的変化に効果的に適応できるか？
• RQ5 BHCの並列評価数（P）を増やすことで、適応性能が向上するか？

主な発見

• 提案手法は、3分未満の現実世界データを用いて顕著な適応向上を達成し、すべてのテスト済み現実世界シナリオでPG-MAMLを上回った。
• Minitaurロボットにおいて、10Vの電池電圧低下や500gの追加荷重に対しても適応に成功し、歩行性能を不良状態から安定状態に改善した。
• バッチ勾配上昇（BHC）は、平均ベースの勾配上昇を上回り、特にP > 5のとき、優れたノイズ耐性と適応向上を示した。
• 極度にノイズの多いシミュレーション環境（Minitaur-Noisy）においても、BHCは高い適応性能を維持し、分散を低減したが、平均化手法と同等の最終的性能を達成した。
• 極限のテスト環境下でも、本手法は効果的に適応し、均一テスト（Uniform Test）と同等の性能水準に到達したが、PG-MAMLは性能向上に失敗した。
• 本手法は、滑りやすい表面や大きな摂動といった分布外の動的変化に対しても、優れた一般化性能を示した。PG-MAMLはノイズの多い勾配推定のため、同様の条件下で失敗した。