[논문 리뷰] Sim-to-Real: Learning Agile Locomotion For Quadruped Robots

Jie Tan, Tingnan Zhang외 6명|arXiv (Cornell University)|2018. 04. 27.

Robotic Locomotion and Control참고 문헌 37인용 수 113

한 줄 요약

본 논문은 민첩한 4족 보행의 시뮬레이션-현실 학습 시스템을 제시하며, 실환경 Minitaur 로봇에 배치 가능한 강력하고 적응 가능한 정책으로 시뮬레이션에서 보행을 학습하고, 해상도 향상, 지연 모델링, 다이나믹스/랜덤화를 통해 현실 차이를 해소한다.

ABSTRACT

Designing agile locomotion for quadruped robots often requires extensive expertise and tedious manual tuning. In this paper, we present a system to automate this process by leveraging deep reinforcement learning techniques. Our system can learn quadruped locomotion from scratch using simple reward signals. In addition, users can provide an open loop reference to guide the learning process when more control over the learned gait is needed. The control policies are learned in a physics simulator and then deployed on real robots. In robotics, policies trained in simulation often do not transfer to the real world. We narrow this reality gap by improving the physics simulator and learning robust policies. We improve the simulation using system identification, developing an accurate actuator model and simulating latency. We learn robust controllers by randomizing the physical environments, adding perturbations and designing a compact observation space. We evaluate our system on two agile locomotion gaits: trotting and galloping. After learning in simulation, a quadruped robot can successfully perform both gaits in the real world.

연구 동기 및 목표

• 딥 강화학습을 사용하여 시작에서부터 민첩한 4족 보행 정책의 설계를 자동화한다.
• 정확한 액추에이터 모델, 지연 처리, 시스템 식별을 통해 시뮬레이션과 실제 하드웨어 간의 현실 차이를 좁힌다.
• 완전 학습형에서 사용자 안내 보행 패턴까지 사용자의 제어 가능성 스펙트럼을 제공한다.
• 학습된 보행(트로팅 및 갤로핑)을 실제 Minitaur 로봇으로 전이시키고 향상된 에너지 효율을 입증한다.
• 다양한 물리 매개변수에서 로 transfer 성능에 미치는 견고성 기법의 영향을 평가한다.

제안 방법

• 운동을 부분 관찰 가능한 마르코프 결정 프로세스(POMDP)로 형상화하고 Proximal Policy Optimization(PPO)으로 최적화한다.
• 무효 구성을 피하고 학습을 촉진하기 위해 컴팩트한 다리 공간 행동 표현을 사용한다.
• 사용자 지정 또는 학습된 보행을 가능하게 하기 위해 피드백 정책이 있는 오픈 루프 기준 보행을 통합한다.
• 시스템 식별, 액추에이터 모델, 지연 처리를 통해 시뮬레이션 충실도를 높이고, PWM 구동 DC 모터를 토크-전류의 구간적 관계로 모델링한다.
• 다이나믹스 랜덤화, 교란, 컴팩트 관측 등 견고성 기법을 적용하여 시뮬레이션-실제로의 전달을 개선한다.
• 학습된 정책을 트로팅과 갤로핑 보행에 대해 평가하고 실제 하드웨어의 전문가 설계 보행과 비교한다.

실험 결과

연구 질문

• RQ1 물리 기반 시뮬레이션에서 학습된 정책이 추가 학습 없이 실제 4족 로봇으로 효과적으로 전달될 수 있는가?
• RQ2 시뮬레이터 충실도 향상과 견고성 기법의 어떤 조합이 민첩한 보행의 현실 차이를 가장 좁히는가?
• RQ3 오픈 루프 기준 참조를 통한 사용자 가이드 제어가 학습된 보행 스타일과 균형에 어떤 영향을 미치는가?
• RQ4 학습된 보행과 수작업 전문가 보행 간의 에너지 및 속도 트레이드오프는 무엇인가?
• RQ5 관찰 공간 차원이 학습 정책의 전달성과 안정성에 어떤 영향을 미치는가?

주요 결과

Gait	Speed (m/s)	Avg. Mech. Power (W)
Trotting (handcrafted)	0.56	92.72
Trotting (learned)	0.60	71.78
Galloping (handcrafted)	1.21	290.00
Galloping (learned)	1.18	188.79

• 시뮬레이션이 개선되고 견고성 메서드가 적용되면 민첩한 갤로핑과 트로팅이 시뮬레이션에서 자동으로 등장하고 실제 Minitaur 로봇으로 전달될 수 있다.
• 학습된 보행은 수작업 보행에 비해 에너지 소비를 크게 줄이며 경쟁력 있는 속도를 달성한다(갤로핑 및 트로팅에서 에너지 감소가 두드러짐).
• 정확한 액추에이터 모델링과 지연 인식 시뮬레이션은 실세계 전달의 성공에 필수적이며, 이를 없으면 학습된 정책이 하드웨어에서 실패한다.
• 다이나믹스 랜덤화와 무작위 교란은 견고성과 전달성을 향상시키며, 견고성과 최적성 간의 트레이드오프가 존재한다.
• 컴팩트한 관측 공간(4차원)은 축소된 센서 세트를 사용할 때 전달 안정성을 돕는다.
• 트로팅에서 학습된 보행 속도는 실제 로봇에서 0.60 m/s이고 시뮬레이션에서 0.50 m/s이며, 에너지 사용은 수작업 트로팅보다 감소한다(71.78 W 대 92.72 W).
• 갤로핑에서 학습된 보행 속도는 실제 로봇에서 1.18 m/s이고 시뮬레이션에서 1.21 m/s이며, 에너지 사용은 더 낮다(188.79 W 대 290.00 W).