[論文レビュー] Reinforcement Learning with Adaptive Curriculum Dynamics Randomization for Fault-Tolerant Robot Control

Wataru Okamoto, Hiroshi Kera+1 more|arXiv (Cornell University)|Nov 19, 2021

Reinforcement Learning in Robotics参考文献 28被引用数 5

ひとこと要約

本論文は、強化学習を用いた四足歩行ロボットの故障耐性制御のため、適応的カリキュラムダイナミクスランダマイゼーション（ACDR）アルゴリズムを提案する。硬い（重度の故障）から易しい（正常）へのカリキュラムを採用し、最初に重度のアクチュエータ故障を模擬して訓練することで、故障診断モジュールを必要とせず、一度のロバストなポリシーを学習し、実世界の故障状態にも一般化可能である。ACDR手法は、従来の方法と比較して平均報酬および歩行距離において優れた性能を達成する。

ABSTRACT

This study is aimed at addressing the problem of fault tolerance of quadruped robots to actuator failure, which is critical for robots operating in remote or extreme environments. In particular, an adaptive curriculum reinforcement learning algorithm with dynamics randomization (ACDR) is established. The ACDR algorithm can adaptively train a quadruped robot in random actuator failure conditions and formulate a single robust policy for fault-tolerant robot control. It is noted that the hard2easy curriculum is more effective than the easy2hard curriculum for quadruped robot locomotion. The ACDR algorithm can be used to build a robot system that does not require additional modules for detecting actuator failures and switching policies. Experimental results show that the ACDR algorithm outperforms conventional algorithms in terms of the average reward and walking distance.

研究の動機と目的

• 遠隔地や極限環境で動作する四足歩行ロボットにおいて、アクチュエータの故障が頻発し、修理が困難である状況における故障耐性の課題に取り組むこと。
• 故障検出モジュールやポリシー切り替えモジュールを別途設ける必要をなくし、強化学習によって統合的でロバストな制御ポリシーを学習すること。
• ドメインランダマイゼーションとカリキュラム学習を組み合わせることで、シミュレーションから実世界への展開（Sim2Real）のギャップを改善すること。
• 硬い（重度の故障）から易しい（正常）へのカリキュラム（故障耐性を最初に高める）が、従来の易しい（正常）から硬い（重度の故障）へのカリキュラムよりも、故障耐性ロコモーションにおいて優れた性能を発揮するかを検証すること。
• 事前に故障状態を知らされない状態でも、1本以上のアクチュエータが故障した場合にすら歩行を維持できるように、四足歩行ロボットの訓練フレームワークを構築すること。

提案手法

• ACDRアルゴリズムは、シミュレーションにおけるアクチュエータ故障の深刻度を制御する係数$k$を変化させることで、ダイナミクスランダマイゼーションを適用する。これにより、エージェントは多様な故障状態にさらされる。
• 硬いから易しいへのカリキュラムを実装し、訓練を高い故障深刻度（$k=1.4$）から始め、徐々に$k=0.0$へと減少させる。これは、徐々に安定した状態に近づくシナリオを模擬する。
• タスク固有の報酬関数を最大化するように、深層強化学習によりエンドツーエンドでポリシーを訓練する。この報酬関数は前進と安定性を促進することを目的としている。
• 初期段階で$k=0.0$（完全な脚の故障）での訓練を回避する。これは、極端な故障状態に過剰適合（オーバーフィッティング）することでポリシー性能が低下すると仮定している。
• 学習の進行状況に応じて故障係数を動的に調整する適応的カリキュラムスケジューリングを統合し、サンプル効率とロバスト性を向上させる。
• 最終的なポリシーは、追加の調整や故障検出モジュールを用いずに、シミュレーションおよび実世界のテストにデプロイされる。

実験結果

リサーチクエスチョン

• RQ1 強化学習により、一括のロバストなポリシーを学習し、さまざまなアクチュエータ故障状態下でも四足歩行ロボットが歩行を維持できるか。
• RQ2 硬いから易しいへのカリキュラム（最初に重度の故障を模擬）が、易しいから硬いへのカリキュラムよりも故障耐性性能を向上させるか。
• RQ3 ドメインランダマイゼーションと適応的カリキュラム学習を組み合わせることで、脚部ロボットのSim2Real展開におけるリアリティギャップを効果的に低減できるか。
• RQ4 故障耐性を達成するためには、最も極端な故障状態（$k=0.0$）でエージェントを訓練する必要があるか。
• RQ5 ACDRアルゴリズムは、非カリキュラムおよび非ランダマイズドベースライン手法と比較して、平均報酬および歩行距離の観点でどのように性能を発揮するか。

主な発見

• ACDRアルゴリズムは、さまざまな故障係数において、従来の強化学習手法と比較して平均報酬および歩行距離の両方で優れた性能を示す。
• 硬いから易しいカリキュラムは、易しいから硬いカリキュラムよりも一貫して高い平均報酬を達成する。後者は$k=0.0$での後段階の訓練により性能が低下する。
• $k=0.0$に近い領域での訓練は、故障耐性を達成するために必須ではない。ロボットは、その状態で明示的に訓練されていなくても、完全な脚の故障に一般化できる。
• ACDR_h2eの平均報酬は、$k \in [0,1]$の全範囲にわたり高い水準を維持しており、未観測の故障レベルに対しても強い一般化能力を示している。
• 実験では、$k=0.0$を訓練段階で回避することで、特に易しいから硬いカリキュラムのアプローチにおいて、ポリシー性能が顕著に向上することが示された。
• ACDRフレームワークにより、追加の故障診断モジュールやポリシー切り替えモジュールを必要としない故障耐性ロボットシステムが実現可能となり、実世界への展開が簡素化された。