[論文レビュー] Robust Quadruped Jumping via Deep Reinforcement Learning

Guillaume Bellegarda, Quan Nguyen+1 more|arXiv (Cornell University)|Nov 13, 2020

Robotic Locomotion and Control参考文献 30被引用数 31

ひとこと要約

要約: 本論文は、モーターダイナミクスと電力制約を統合することで軌道オフセットを学習し、四足歩行ロボットの跳躍をロバストにする深層強化学習フレームワークを提案し、ノイズのある環境下でのシミュレート実機ゼロショット転送を可能にする。

ABSTRACT

In this paper, we consider a general task of jumping varying distances and heights for a quadrupedal robot in noisy environments, such as off of uneven terrain and with variable robot dynamics parameters. To accurately jump in such conditions, we propose a framework using deep reinforcement learning that leverages and augments the complex solution of nonlinear trajectory optimization for quadrupedal jumping. While the standalone optimization limits jumping to take-off from flat ground and requires accurate assumptions of robot dynamics, our proposed approach improves the robustness to allow jumping off of significantly uneven terrain with variable robot dynamical parameters and environmental conditions. Compared with walking and running, the realization of aggressive jumping on hardware necessitates accounting for the motors' torque-speed relationship as well as the robot's total power limits. By incorporating these constraints into our learning framework, we successfully deploy our policy sim-to-real without further tuning, fully exploiting the available onboard power supply and motors. We demonstrate robustness to environment noise of foot disturbances of up to 6 cm in height, or 33% of the robot's nominal standing height, while jumping 2x the body length in distance.

研究の動機と目的

• Uneven terrain and parameter variations に対する四足跳びのロバスト性を向上させる。
• 最適化された跳躍軌道を補強するために深層強化学習を活用する。
• 学習にモータトルク–速度制約とバッテリ電力制限を組み込み、シムトゥリアル転送を信頼性の高いものにする。
• 環境と攪乱の異なるハードウェア上でゼロショット転送を実演する。

提案手法

• Soft-Actor Critic (SAC) を用いて、最適化跳躍軌跡を修正するための直交 Cartesian 軌跡オフセット 9 Delta p_RL を出力するポリシーを学習する。
• モーターダイナミクスをトルク–速度モデルとして表現し、シミュレーション中に onboard 電力制限を課す。
• 学習ループにモーターダイナミクスの制約と電力制約を統合し、実現可能なトルク参照を保証する。
• 乱択環境乱れと質量/慣性変動を用いてシミュレーションで訓練し、学習したポリシーをハードウェアへチューニングなしで転送する。
• 観測から轨道補正への直接写像を可能にするため、デカルト空間で学習し、競合する利得を避けるために対応するジョイント空間オフセットも併用する。
• 学習済みオフセットと既存の Cartesian およびジョイント PD コントローラを組み合わせて軌跡を追従する。

実験結果

リサーチクエスチョン

• RQ1 DRL は純粋な軌道最適化を超えて四足跳躍のロバスト性をどう向上させることができるか？
• RQ2 単一の学習コントローラは複数の跳距離/高さおよび異なる関節利得に一般化できるか？
• RQ3 モータダイナミクスと電力制約を組み込むことがダイナミックな機敏動作のシムトゥリアル転送に与える影響は？
• RQ4 学習した軌道オフセットポリシーは環境ノイズと攪乱下で、ベースラインのフィードフォワードコントローラと比べてどう機能するか？

主な発見

• DRL対応のコントローラは、踏み脚の6 cm の撓み（名目立高さの約33%）までのロバストな跳躍性能を維持しつつ、2 身体長の距離を跳ぶ。
• シミュレーションでは、学習されたオフセットは、ジョイント利得が高い場合と低い場合の双方において、基準のフィードフォワードコントローラと比較して着地の精度と安定性を大幅に改善した。
• 大きな環境ノイズ下で、フレームワークはベースラインを上回り、フィードフォワードアプローチが失敗する場所で正確な跳躍を実現した。
• Unitree A1 上のハードウェア実験では、モータダイナミクスと電力制約を統合したシミュトゥリアル転送をゼロショットで実証。
• モータ動力学制約と電力制限を組み込むことで、高負荷動作中の電圧と電力の実現性を確保し、信頼性の高いハードウェア展開を支援する。