[論文レビュー] Towards Continual Reinforcement Learning for Quadruped Robots

Giovanni Minelli, Vassilis Vassiliades|arXiv (Cornell University)|Jan 1, 2023

Educational Games and Gamification被引用数 1

ひとこと要約

本稿は、段階的に複雑化する地形における連続的強化学習（CRL）を四足歩行ロボットに適用し、Proximal Policy Optimization（PPO）を用いて検討する。容易から困難、および困難から容易への学習シナリオにおいて、顕著な深刻な忘却が生じ、以前に習得したスキルの性能低下が確認され、実世界におけるロボットの展開に統合的CRLメカニズムの導入が急務であることが示された。

ABSTRACT

Quadruped robots have emerged as an evolving technology that currently leverages simulators to develop a robust controller capable of functioning in the real-world without the need for further training. However, since it is impossible to predict all possible real-world situations, our research explores the possibility of enabling them to continue learning even after their deployment. To this end, we designed two continual learning scenarios, sequentially training the robot on different environments while simultaneously evaluating its performance across all of them. Our approach sheds light on the extent of both forward and backward skill transfer, as well as the degree to which the robot might forget previously acquired skills. By addressing these factors, we hope to enhance the adaptability and performance of quadruped robots in real-world scenarios.

研究の動機と目的

• デプロイ後における四足歩行ロボットの連続的強化学習の実現可能性を評価すること。
• 段階的学習における歩行スキル間の前向きおよび後向きの知識移転を調査すること。
• PPOベースのエージェントが新しい環境にさらされた際の深刻な忘却を測定すること。
• 容易から困難、および困難から容易への地形進行順序における学習ダイナミクスの比較。
• 標準PPOがロボット制御の連続的学習シナリオにおいて、明示的なCRLメカニズムなしに限界を示すこと。

提案手法

• 平坦、下り坂、階段下り、タイル、上り坂、階段上がり、および繰り返しの平坦およびタイルの8種類の地形で、PPOエージェントを段階的に訓練した。
• 4096台のロボットを各地形で固定の訓練インターバルにわたり段階的に訓練する構造的カリキュラムを採用した。
• 各訓練フェーズ後に512台のロボットを並列で評価し、全環境におけるパフォーマンスを測定した。
• 容易から困難（段階的に難易度が上昇）および困難から容易（難易度が低下）の2つの連続的学習シナリオを設計した。
• 前向き移転（以前のスキルのおかげで新しいタスクでのパフォーマンス向上）、後向き移転（新しい訓練のおかげで過去のタスクでのパフォーマンス向上）、および忘却（以前のタスクでのパフォーマンス低下）を測定した。
• GPUアクセラレーションを活用したNVIDIA Isaac Gymを用い、標準ハイパーパrameterを用いて訓練した。

実験結果

リサーチクエスチョン

• RQ1 新しい地形スキルを学習することで、以前に習得した地形でのパフォーマンスがどの程度向上するか（前向き移転）？
• RQ2 新しい地形スキルを学習することで、以前に習得した地形でのパフォーマンスがどの程度低下するか（忘却）？
• RQ3 より困難な地形から学習を始めること（困難から容易）が、容易から困難の順序と比較して忘却を軽減するか？
• RQ4 シーケンス内で以前の地形を再訪問した際、後向き移転はどのように現れるか？
• RQ5 標準PPOは、明示的な連続的学習メカニズムなしに、多様で段階的に導入される歩行タスクにおいて安定したパフォーマンスを維持できるか？

主な発見

• 容易から困難のシナリオでは、階段下りやタイルの訓練中に平坦および下り坂走行のパフォーマンスが顕著に低下し、強い忘却が確認された。
• タイルの訓練（1500–2000イテレーション）は、平坦および階段下り走行のパフォーマンスを悪化させた一方で、上り坂および階段上がりのパフォーマンスを向上させた。
• 平坦地形の再訪問（2000–2500イテレーション）により、下り坂および上り坂走行のパフォーマンスが顕著に向上し、後向き移転が確認された。
• 階段上がりの訓練（3000–3500イテレーション）は、平坦、上り坂、下り坂走行のパフォーマンスに悪影響を与え、強い干渉が生じた。
• 困難から容易のシナリオでは、タイルに移行した際（2000–2500イテレーション）、平坦走行のパフォーマンスがわずかに低下したが、後続の再訓練で回復し、部分的な回復が確認された。
• 最も深刻な忘却は、階段およびタイルの地形での訓練中に発生し、勾配走行には最小限の影響で、一貫した前向き移転が観察された。