[논문 리뷰] Robust Quadrupedal Locomotion on Sloped Terrains: A Linear Policy Approach

Kartik Paigwar, Lokesh Krishna외 8명|arXiv (Cornell University)|2020. 10. 30.

Robotic Locomotion and Control인용 수 7

한 줄 요약

이 논문은 단일 정 politicy를 Augmented Random Search (ARS)를 통해 훈련하여 기울기 있는 지형에서 안정적인 4족 보행을 위한 계산적으로 경량화된 선형 피드백 정 politicy를 제안한다. 정 politicy는 몸통 자세와 지형 경사를 기반으로 발자국 궤적을 동적으로 조정하여 최대 15°의 경사면에서도 안정적인 보행을 가능하게 하며, 외부 교란을 견디고 다양한 저비용 4족 로봇에 대해 재훈련 없이 일반화된다.

ABSTRACT

In this paper, with a view toward fast deployment of locomotion gaits in low-cost hardware, we use a linear policy for realizing end-foot trajectories in the quadruped robot, Stoch $2$. In particular, the parameters of the end-foot trajectories are shaped via a linear feedback policy that takes the torso orientation and the terrain slope as inputs. The corresponding desired joint angles are obtained via an inverse kinematics solver and tracked via a PID control law. Augmented Random Search, a model-free and a gradient-free learning algorithm is used to train this linear policy. Simulation results show that the resulting walking is robust to terrain slope variations and external pushes. This methodology is not only computationally light-weight but also uses minimal sensing and actuation capabilities in the robot, thereby justifying the approach.

연구 동기 및 목표

• 저비용 4족 로봇에서 기울기 있는 지형에서 안정적인 보행을 위한 최소화되고 계산적으로 효율적인 제어 프레임워크를 개발하기 위해.
• 제한된 액추에이터, 센서 및 계산 자원을 갖춘 하드웨어에 고급 제어 법칙을 구현하는 데 도전하는 데 대해.
• 단일 선형 정 politicy를 사용하여 다양한 4족 로봇에 대해 빠르고 일반화 가능한 정 politicy 배포를 가능하게 하기 위해 최소한의 튜닝으로.
• 도메인 랜덤라이제이션을 통해 지형 경사 변화, 외부 교란 및 파rameter 변화(마찰, 질량, 모터 강도)에 대한 강건성을 확보하기 위해.
• 선형 정 politicy가 ARS를 통해 훈련되었을 때, 아키텍처나 하이퍼파라미터를 변경하지 않고 다양한 로봇 형태와 기울기에서 일반화될 수 있는지 입증하기 위해.

제안 방법

• 선형 정 politicy는 몸통 자세와 지형 경사(전방 운동학 및 발 접촉 감지로 추정)를 반영하여 반타원형 발 궤적의 파라미터로 매핑한다.
• 안전한 워크스페이스 적합성과 빠른 훈련을 보장하기 위해 타원형 매개변수화를 사용하여 발 궤적을 생성한다.
• 목표 관절 각도는 역운동학 솔버를 통해 계산되고 PID 제어 법칙을 사용하여 추적한다.
• 안정성과 지형 적응을 최적화하기 위해 모델 기반, 기울기 없는 강화 학습 알고리즘인 Augmented Random Search (ARS)를 사용하여 정 politicy를 훈련한다.
• 정 politicy의 표현 능력을 향상시키고 교란 탐지 및 노이즈 필터링을 향상시키기 위해 자세 역사 정보를 입력으로 포함한다.
• 다양한 하드웨어 플랫폼 간 마찰, 질량 및 모터 강도의 변화에 대한 강건성을 향상시키기 위해 훈련 중 도메인 랜덤라이제이션을 적용한다.

실험 결과

연구 질문

• RQ1 ARS를 통해 훈련된 선형 정 politicy는 최소한의 센서와 계산 오버헤드로 기울기 있는 지형에서 안정적이고 강건한 4족 보행을 달성할 수 있는가?
• RQ2 다양한 운동학적 및 동역학적 특성을 가진 다양한 4족 로봇 간에 단일 선형 정 politicy가 얼마나 잘 일반화되는가?
• RQ3 선형 정 politicy는 실시간으로 지형 경사 변화에 얼마나 잘 적응하고 외부 교란을 거부할 수 있는가?
• RQ4 자세 역사 정보를 통합하면 선형 정 politicy의 성능과 강건성이 다이나믹한 지형 주행에서 향상되는가?
• RQ5 훈련 중 도메인 랜덤라이제이션을 통해 마찰, 질량 및 모터 강도의 모델링되지 않은 변화에 대한 일반화가 가능할까?

주요 결과

• 선형 정 politicy는 -9°에서 +15° 범위의 경사면에서 보행을 안정적으로 제어했으며, 로봇이 실시간으로 지형에 맞게 중심 질량 자세와 높이를 조정함으로써 성공적으로 적응했다.
• 정 politicy는 최대 100 N의 횡방향 외부 힘에 대해 강건하게 대응했으며, 0.5초 이내에 신체 자세를 교정하고 스텝 길이 및 조향을 조정했다.
• 오르막 보행 중 로봇은 굴절 각도 변화 ±3°와 야와 각도 변화 ±6°를 유지했으며, 이는 효과적인 동적 적응을 의미한다.
• 정 politicy는 액션 스페이스 값의 스케일링과 PID 이득 및 주파수의 미세 조정만으로도 HyQ와 Unitree-Laikago와 같은 다른 로봇으로도 일반화되었다.
• 보조 비디오에서 확인한 바와 같이, 계단을 기울기 있는 지형로 간주함으로써 정 politicy는 계단에서도 안정적인 보행을 달성했다.
• 자세 역사 정보는 선형 정 politicy가 발 미끄러짐을 탐지하고 센서 노이즈를 필터링하는 데 필수적이었으며, 성능 향상에 크게 기여했다.