[論文レビュー] Guided Curriculum Learning for Walking Over Complex Terrain

Brendan Tidd, Nicolas Hudson+1 more|arXiv (Cornell University)|Oct 8, 2020

Robotic Locomotion and Control参考文献 18被引用数 8

ひとこと要約

本論文では、ギャップ、ハブル、階段、段差などの複雑な地形を歩行する二足歩行ロボットのための、3段階のガイド付きカリキュラム学習フレームワークを提案する。段階的かつ地形の難易度を高め、ガイド力の強度を段階的に減少させ、徐々に増幅する摂動を導入することで、人間のデモを一切用いずに、単にシンプルな手作業で設計された歩行軌道を事前知識として用いることで、頑健で高性能な方策を学習可能となる。

ABSTRACT

Reliable bipedal walking over complex terrain is a challenging problem, using a curriculum can help learning. Curriculum learning is the idea of starting with an achievable version of a task and increasing the difficulty as a success criteria is met. We propose a 3-stage curriculum to train Deep Reinforcement Learning policies for bipedal walking over various challenging terrains. In the first stage, the agent starts on an easy terrain and the terrain difficulty is gradually increased, while forces derived from a target policy are applied to the robot joints and the base. In the second stage, the guiding forces are gradually reduced to zero. Finally, in the third stage, random perturbations with increasing magnitude are applied to the robot base, so the robustness of the policies are improved. In simulation experiments, we show that our approach is effective in learning walking policies, separate from each other, for five terrain types: flat, hurdles, gaps, stairs, and steps. Moreover, we demonstrate that in the absence of human demonstrations, a simple hand designed walking trajectory is a sufficient prior to learn to traverse complex terrain types. In ablation studies, we show that taking out any one of the three stages of the curriculum degrades the learning performance.

研究の動機と目的

• 複雑で自由度の高い地形（高次元の自由度を有する）を対象として、深層強化学習を用いた頑健な二足歩行方策の学習に取り組むこと。
• 人間のデモに依存を減らすために、シンプルで手作業で設計された歩行軌道をガイドとしての事前知識として活用すること。
• 段階的かつ構造的なカリキュラムを用いることで、タスクの難易度を段階的に向上させ、サンプル効率と最終的な方策性能を向上させること。
• 訓練中に体系的に摂動を導入することで、方策の頑健性を向上させること。
• アブレーションスタディを通じて、カリキュラムの各段階の必要性と有効性を検証すること。

提案手法

• 段階1では、単純な手作業で設計された歩行軌道から導出される、ロボットの重心および各関節へのガイド力が用いられ、地形の難易度が上昇する中でロボットの安定化と探索を促進する。
• 段階2では、ロボットが自律制御に移行するに従い、これらのガイド力の大きさを段階的に0に減少させ、ガイドから方策主導の行動へのなめらかな移行を保証する。
• 段階3では、ロボットの基部に段階的に増幅するランダムな摂動を適用することで、外部からの擾乱に対する頑健性を向上させる。
• カリキュラムは、フラット、ギャップ、ハブル、階段、段差の5種類の地形それぞれに対して別々に適用され、各地形タイプごとに独自の方策が訓練される。
• 本手法は、スカラーディンプル報酬信号を1つだけ用いる深層強化学習を採用しており、報酬のスパarsityを克服するためにカリキュラムの進行を活用する。
• 各段階を個別に除外することで、最終的な性能に与える寄与度を評価するためのアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 シンプルで手作業で設計された歩行軌道は、人間のデモを一切用いずに、多様な複雑な地形を走破するためのDRL方策の学習に有効な事前知識として機能するか？
• RQ2 マルチステージのカリキュラム学習アプローチは、複雑な地形における二足歩行のサンプル効率と最終的な方策性能を向上させるか？
• RQ3 各段階（地形の難易度上昇、ガイド力の減少、摂動の導入）が、総合的な学習成功に果たす貢献度は何か？
• RQ4 定常的な摂動を用いた訓練や摂動なしの訓練と比較して、カリキュラムベースの訓練法は、頑健性および一般化性能において優れているか？
• RQ5 訓練済み方策は、最終的な訓練難易度より低い難易度および高い難易度の地形に対しても、どの程度一般化可能か？

主な発見

• 提案された3段階カリキュラムは学習性能を顕著に向上させ、どの段階をも削除しても学習の劣化または失敗が生じる。
• フラット地形では、最大摂動下でカリキュラム法が全距離の87.1%を走破した。これは、小規模な摂動を用いた訓練（45.9%）や、一貫した大規模摂動を用いた訓練（81.2%）を上回る性能であった。
• ギャップ走破では、カリキュラム法が最大摂動下で全距離の35.7%を走破した。これは、小規模摂動（17.8%）および一貫した大規模摂動（22.7%）を大幅に上回る結果であった。
• カリキュラムで訓練された方策は優れた一般化性能を示し、訓練済み難易度より20%高い難易度の地形でも94.5%の性能を維持した。これは、頑健性と適応性の高さを示している。
• 最も難しい地形で訓練された方策は、簡単な地形では過学習を示し、ギャップ走破では難易度を下げた環境でわずか15.4%の性能にとどまった。これは、最終的な訓練難易度に極めて敏感であることを示唆している。
• 本手法は、フラット、ギャップ、ハブル、階段、段差という5つの異なる地形タイプについて、それぞれ独立して高性能な方策を学習に成功しており、その多様性とスケーラビリティを示している。