[논문 리뷰] DeepTransition: Viability Leads to the Emergence of Gait Transitions in Learning Anticipatory Quadrupedal Locomotion Skills

Milad Shafiee, Guillaume Bellegarda외 1명|arXiv (Cornell University)|2023. 06. 12.

Robotic Locomotion and Control인용 수 6

한 줄 요약

이 논문은 사지 보행에서의 자세 유지 능력—즉,軋도 방지—이 보행 전이의 주요 원동력임을 제안한다. 딥 강화 학습을 통해 평탄한 지형과 간극 지형에서 걷기-달리기, 달리기-점프 전이를 자율적으로 수행하는 로봇 제어기를 훈련시켰다. 주요 결과는 보행 전이 후 자세 유지 능력이 에너지 효율성과 최대 힘 감소보다 항상 향상되었으며, 제어기가 Unitree A1 로봇이 30cm 간극(신체 길이의 83.3%)을 1.3m/s 이상의 속도로 획득한 최첨단의 민첩성으로 횡단하도록 허용했다.

ABSTRACT

Quadruped animals seamlessly transition between gaits as they change locomotion speeds. While the most widely accepted explanation for gait transitions is energy efficiency, there is no clear consensus on the determining factor, nor on the potential effects from terrain properties. In this article, we propose that viability, i.e. the avoidance of falls, represents an important criterion for gait transitions. We investigate the emergence of gait transitions through the interaction between supraspinal drive (brain), the central pattern generator in the spinal cord, the body, and exteroceptive sensing by leveraging deep reinforcement learning and robotics tools. Consistent with quadruped animal data, we show that the walk-trot gait transition for quadruped robots on flat terrain improves both viability and energy efficiency. Furthermore, we investigate the effects of discrete terrain (i.e. crossing successive gaps) on imposing gait transitions, and find the emergence of trot-pronk transitions to avoid non-viable states. Compared with other potential criteria such as peak forces and energy efficiency, viability is the only improved factor after gait transitions on both flat and discrete gap terrains, suggesting that viability could be a primary and universal objective of gait transitions, while other criteria are secondary objectives and/or a consequence of viability. Moreover, we deploy our learned controller in sim-to-real hardware experiments and demonstrate state-of-the-art quadruped agility in challenging scenarios, where the Unitree A1 quadruped autonomously transitions gaits between trot and pronk to cross consecutive gaps of up to 30 cm (83.3 % of the body-length) at over 1.3 m/s.

연구 동기 및 목표

• 보행 전이의 주요 원동력으로서 자세 유지 능력—즉,軋도 방지—이 되는지 여부를 조사하는 것.
• 뇌간 제어, 체성 중심 패tern 생성기(CPGs), 외부 감각 정보가 어떻게 상호작용하여 적응적인 보행 전이를 가능하게 하는지 탐색하는 것.
• 평탄한 지형과 이산 지형에서 보행 전이가 자세 유지 능력, 에너지 효율성, 최대 힘 감소 중 어떤 기준을 주로 향상시키는지 평가하는 것.
• 어려운 간극 횡단 작업에서 학습된 보행 정책의 시뮬레이션에서 실제 세계로의 전이를 입증하는 것.

제안 방법

• 계층적 제어 아키텍처를 사용하며, 다층 퍼셉트론이 뇌간 제어를 표현하고, 비선형 진폭 제어형 단위진동자들이 체성 CPGs를 모델링하며, 역기구학이 출력을 모터 명령으로 매핑한다.
• 정책은 Isaac Gym과 PyBullet 시뮬레이터에서 딥 강화 학습을 통해 훈련되며, 외부 시각 및 지형 고도 감지 정보를 활용해 보행 결정을 내린다.
• 보행 전이가 학습 과정에서 자연스럽게 발생하며, 전이 지점에 대한 명시적 보상 설계 없이도 전진 거리와軋도 방지를 위한 보상에 의존한다.
• 평가 대상은 평탄한 지형과 이산 간극 지형이며, 간극 너비는 14–20cm, 접촉 표면은 14cm로 랜덤화되어 있다.
• 성공은 간극 횡단 비율과 속도로 측정되며, 충돌은 신체 높이가 15cm 이하일 경우로 정의된다.
• 도메인 랜덤라이제이션 또는 최적화 없이도 실제 Unitree A1 로봇에 정책을 직접 배포함으로써 시뮬레이션에서 실제 세계로의 전이가 달성되었다.

Figure 1: To model locomotion control, we consider three main interacting layers: the brain (higher centers), the spinal cord, and the body and sensory feedback modules Higher neural centers (such as the brainstem, basal ganglia, cerebellum, and motor cortex) send descending drive signals to modulat

실험 결과

연구 질문

• RQ1 평탄한 지형과 이산 지형에서 보행 전이 후 자세 유지 능력이 향상되는가? 그리고 에너지 효율성과 최대 힘 감소와 비교해 가장 우세한 요소인가?
• RQ2 뇌간 제어, 체성 CPGs, 외부 감각 피드백은 어떻게 상호작용하여 적응적인 보행 전이를 생성하는가?
• RQ3 학습된 제어기가 전이에 대한 명시적 보상 설계 없이도 트로트와 프론크 사이의 자율적 보행 전이를 통해 연속된 간극을 횡단할 수 있는가?
• RQ4 복잡한 지형에서 보행 전이의 발생이 안정성 향상과軋도 방지 향상과 얼마나 관련되어 있는가?

주요 결과

• 평탄한 지형과 간극 지형 양쪽에서 보행 전이 후 자세 유지 능력이 일관되게 향상되었으며, 에너지 효율성과 최대 힘 감소는 일관된 향상이 없었다.
• 평탄한 지형에서의 걷기-달리기 전이가 자세 유지 능력과 에너지 효율성을 모두 향상시켰지만, 간극 지형에서는 자세 유지 능력만이 일관되게 향상된 지표였다.
• 간극 횡단 작업에서 로봇은 비가용 상태를 피하기 위해 자율적으로 트로트-프론크 보행으로 전이하여, 보행 전이가 안정성을 유지하기 위해 발생한다는 것을 입증했다.
• Unitree A1 로봇은 시뮬레이션에서 실제 세계로의 배포를 통해 30cm 간극(신체 길이의 83.3%)을 1.3m/s 이상의 속도로 성공적으로 횡단했다.
• 정책은 Unitree A1와 Go1를 포함한 다양한 로봇과 지형 유형(스텝 스톤, 격자, 혼합 지형 등)에 일반화되었다.
• 명시적 전이 보상이나 진동자 간 결합 없이도 보행 전이가 자세 유지 능력 학습을 통해 자연스럽게 발생함을 확인했다.

Figure 2: Qualitative comparison data for robot and animal locomotion. A: The CoT and CV of stride duration of the animals and the robot are plotted against the locomotion speed of walk-trot gaits in: a) the quadruped robot, b) the domestic dog, c) the Australian water rat, d) the Virginia opossum a