[論文レビュー] DeepTransition: Viability Leads to the Emergence of Gait Transitions in Learning Anticipatory Quadrupedal Locomotion Skills

Milad Shafiee, Guillaume Bellegarda+1 more|arXiv (Cornell University)|Jun 12, 2023

Robotic Locomotion and Control被引用数 6

ひとこと要約

本論文では、転倒回避として定義される生存可能性（viability）が、四足歩行における歩行様式の転換の主な駆動要因であると提案している。深層強化学習を用いて、平坦な地形およびギャップ地形において、歩行→走行や走行→飛び跳ね歩行への自律的移行を可能にするロボット制御器を学習した。主な結果として、歩行様式の転換後、生存可能性が一貫して向上し、エネルギー効率やピーク力の低減よりも優れている。また、制御器によりUnitree A1ロボットは、体長の83.3％（30 cm）のギャップを1.3 m/s以上の速度で渡ることができ、最先端の俊敏性を実現した。

ABSTRACT

Quadruped animals seamlessly transition between gaits as they change locomotion speeds. While the most widely accepted explanation for gait transitions is energy efficiency, there is no clear consensus on the determining factor, nor on the potential effects from terrain properties. In this article, we propose that viability, i.e. the avoidance of falls, represents an important criterion for gait transitions. We investigate the emergence of gait transitions through the interaction between supraspinal drive (brain), the central pattern generator in the spinal cord, the body, and exteroceptive sensing by leveraging deep reinforcement learning and robotics tools. Consistent with quadruped animal data, we show that the walk-trot gait transition for quadruped robots on flat terrain improves both viability and energy efficiency. Furthermore, we investigate the effects of discrete terrain (i.e. crossing successive gaps) on imposing gait transitions, and find the emergence of trot-pronk transitions to avoid non-viable states. Compared with other potential criteria such as peak forces and energy efficiency, viability is the only improved factor after gait transitions on both flat and discrete gap terrains, suggesting that viability could be a primary and universal objective of gait transitions, while other criteria are secondary objectives and/or a consequence of viability. Moreover, we deploy our learned controller in sim-to-real hardware experiments and demonstrate state-of-the-art quadruped agility in challenging scenarios, where the Unitree A1 quadruped autonomously transitions gaits between trot and pronk to cross consecutive gaps of up to 30 cm (83.3 % of the body-length) at over 1.3 m/s.

研究の動機と目的

• 生存可能性（転倒回避として定義）が、四足歩行における歩行様式の転換の主な駆動要因であるかどうかを調査すること。
• 大脳上位制御、脊髄中枢パターン生成器（CPGs）、外部受容体センシングの相互作用が、適応的歩行様式転換をどのように可能にするかを明らかにすること。
• 平坦地形および離散的地形において、歩行様式の転換が生存可能性、エネルギー効率、またはピーク力の主な改善基準としてどの程度向上するかを評価すること。
• 学習された歩行ポリシーが、挑戦的なギャップ走破タスクにおいて、シミュレーションから実機への強力な転送を実証すること。

提案手法

• 階層的制御アーキテクチャを採用し、多層パーセプトロンが大脳上位制御を表し、非線形な振幅制御付き位相オシレータが脊髄CPGをモデル化し、逆運動学が出力をモーターコマンドに変換する。
• ポリシーは、Isaac GymおよびPyBulletシミュレータで深層強化学習により学習され、歩行意思決定に外部視覚および地形高さセンシングを用いる。
• 歩行様式の転換は、明示的な転換ポイントの報酬設計を用いずに、前進と転倒回避の報酬に依存して自然に出現する。
• 評価は平坦地形および離散的ギャップ地形で実施され、ギャップ幅は14–20 cm、接触面は14 cmでランダム化された。
• 成功はギャップ走破率と速度で測定され、体高が15 cm未満の状態を転倒と定義する。
• シミュレーションから実機への転送は、ドメインランダマイゼーションやファインチューニングを一切行わずに、ポリシーを直接Unitree A1ロボットにデプロイすることで達成された。

Figure 1: To model locomotion control, we consider three main interacting layers: the brain (higher centers), the spinal cord, and the body and sensory feedback modules Higher neural centers (such as the brainstem, basal ganglia, cerebellum, and motor cortex) send descending drive signals to modulat

実験結果

リサーチクエスチョン

• RQ1 平坦地形および離散的地形において、歩行様式の転換後に生存可能性が向上するか。また、エネルギー効率やピーク力と比較して、それが優位な要因であるか。
• RQ2 大脳上位制御、脊髄CPG、外部受容体フィードバックがどのように相互作用し、適応的歩行様式転換を生み出すか。
• RQ3 明示的な転換報酬設計なしに、学習された制御器が、トロットやプロンクといった歩行様式を自律的に切り替えて連続するギャップを渡ることができるか。
• RQ4 複雑な地形において、歩行様式の転換が安定性および転倒回避の向上とどの程度相関するか。

主な発見

• 平坦地形およびギャップ地形の両方で、歩行様式の転換後に生存可能性が一貫して向上したが、エネルギー効率やピーク力の低減は一貫した向上を示さなかった。
• 平坦地形におけるウォーク→トロット転換では、生存可能性とエネルギー効率の両方が向上したが、ギャップ地形では生存可能性が唯一一貫して向上した指標であった。
• ギャップ走破タスクでは、ロボットが非生存的状態を避けるために自然にトロット→プロンク歩行に移行した。これは、歩行様式の転換が安定性を維持するために出現することを示している。
• Unitree A1ロボットは、シミュレーションから実機へのデプロイで、最大30 cm（体長の83.3％）のギャップを1.3 m/sを超える速度で成功裏に渡った。
• ポリシーは、Unitree A1およびGo1の異なるロボットや、ステッピングストーン、グリッド、混合地形など、さまざまな地形タイプに一般化した。
• 明示的な転換報酬やオシレータ結合の欠如により、生存可能性の学習に依存して、歩行様式の転換が自然に出現した。

Figure 2: Qualitative comparison data for robot and animal locomotion. A: The CoT and CV of stride duration of the animals and the robot are plotted against the locomotion speed of walk-trot gaits in: a) the quadruped robot, b) the domestic dog, c) the Australian water rat, d) the Virginia opossum a