[논문 리뷰] Dynamics Randomization Revisited:A Case Study for Quadrupedal Locomotion

Zhaoming Xie, Xingye Da외 3명|arXiv (Cornell University)|2020. 11. 04.

Robotic Locomotion and Control참고 문헌 30인용 수 6

한 줄 요약

이 논문은 라이카고 로봇를 사용하여 다각도 보행의 시뮬레이션에서 실제 세계로의 전이에 있어 역학 랜덤라이제이션의 역할을 조사하며, 적절한 제어 설계 선택(예: 비례 이득 및 상태 관측)을 최적화할 경우 역학 랜덤라이제이션 없이도 직접 전이가 가능하다는 것을 보여준다. 주요 발견은 불필요한 랜덤라이제이션이 과도하게 보수적인 정책을 유도하는 반면, 지연과 같은 핵심 매개변수에 대해 타겟팅된 랜덤라이제이션은 현실성 격차를 효과적으로 줄인다는 것이다.

ABSTRACT

Understanding the gap between simulation and reality is critical for reinforcement learning with legged robots, which are largely trained in simulation. However, recent work has resulted in sometimes conflicting conclusions with regard to which factors are important for success, including the role of dynamics randomization. In this paper, we aim to provide clarity and understanding on the role of dynamics randomization in learning robust locomotion policies for the Laikago quadruped robot. Surprisingly, in contrast to prior work with the same robot model, we find that direct sim-to-real transfer is possible without dynamics randomization or on-robot adaptation schemes. We conduct extensive ablation studies in a sim-to-sim setting to understand the key issues underlying successful policy transfer, including other design decisions that can impact policy robustness. We further ground our conclusions via sim-to-real experiments with various gaits, speeds, and stepping frequencies. Additional Details: https://www.pair.toronto.edu/understanding-dr/.

연구 동기 및 목표

• 다리 달린 로봇의 시뮬레이션에서 실제 세계로의 전이에 있어 역학 랜덤라이제이션의 역할을 명확히 하기 위해, 이전 연구 결과 간의 모순을 고려한다.
• 랜덤라이제이션 외의 설계 선택 중에서 정책의 강건성과 전이 성공에 결정적인 영향을 미치는 요소를 특정한다.
• 특정 시뮬레이션에서 실제 세계로의 전이 상황에서 역학 랜덤라이제이션이 필수적이거나 유익한지 평가한다.
• 식별된 시스템 수준의 모델링 오류를 바탕으로 보수적이고 타겟팅된 방식으로 역학 랜덤라이제이션을 적용할 것을 주장한다.

제안 방법

• 역학 랜덤라이제이션과 기타 설계 매개변수의 영향을 분리하기 위해 시뮬레이션-시뮬레이션 환경에서 광범위한 아블레이션 연구를 수행한다.
• 상태 관측, 비례 이득, 랜덤라이제이션 방식의 다양한 구성으로 딥 강화학습을 사용해 보행 정책을 훈련시킨다.
• 제어 루프 지연, 액추에이터 반응, 링크 질량과 같은 고감도 매개변수에 대해 역학 랜덤라이제이션을 선택적으로 적용한다.
• 실제 라이카고 로봇에서 다양한 걸음걸이, 속도, 스텝 주파수를 대상으로 시뮬레이션-실제 세계 실험을 통해 결과를 검증한다.
• 지연 시간 주입 테스트를 통해 강건성을 평가하고 특정 매개변수를 랜덤라이제이션할 필요성을 판단한다.
• 시뮬레이션 및 실제 환경 조건에서 랜덤라이제이션 유무에 따른 정책 성능을 비교하여 보수성과 강건성 수준을 평가한다.

Figure 1 : Dynamics randomization is often applied in an ad hoc fashion. We advocate for identifying and randomizing parameters that matter and the importance of identifying other problematic control policy design issues.

실험 결과

연구 질문

• RQ1 라이카고 로봇를 사용한 다각도 보행의 시뮬레이션에서 실제 세계로의 전이에 있어 역학 랜덤라이제이션이 필수적인가?
• RQ2 랜덤라이제이션 외의 제어 설계 선택 중에서 정책의 강건성과 전이 성능에 가장 크게 영향을 미치는 요소는 무엇인가?
• RQ3 비핵심 매개변수를 랜덤라이제이션하면 성능이 열악하거나 과도하게 보수적인 정책이 되는가?
• RQ4 지연 시간과 같은 고감도 매개변수에 대해 타겟팅된 랜덤라이제이션은 현실성 격차를 효과적으로 줄일 수 있는가?
• RQ5 어떤 조건에서 역학 랜덤라이제이션은 강건한 시뮬레이션-실제 세계 전이에 있어 필요하지도 않고 충분하지도 않은가?

주요 결과

• 라이카고 로봇에 대해 역학 랜덤라이제이션 없이도 직접 시뮬레이션-실제 세계 전이가 가능하며, 다양한 걸음걸이와 속도에서 안정적인 보행을 달성한다.
• 불필요한 역학 랜덤라이제이션을 적용한 정책은 최대 속도가 0.9 m/s에서 1.1 m/s로 감소하고 보수적인 성향을 보이며, 성능 저하가 발생함을 시사한다.
• 제어 루프 지연을 최대 20 ms까지 랜덤라이제이션한 정책은 시뮬레이션과 실제 세계 모두에서 최대 32 ms의 지연을 처리할 수 있었으며, 현실성 격차를 줄이는 데 효과적임을 입증한다.
• 속도 피드백이 없는 정책은 역학 랜덤라이제이션을 적용한 경우, 랜덤라이제이션 없이 훈련한 정책보다 성능이 열 劣하다. 유일한 예외는 지연 강건성일 뿐이며, 이는 불필요한 교란에 과도하게 피팅된 상태임을 시사한다.
• 비례 이득 조정과 상태 관측 설계가 이전 연구에서 간과된 핵심 요소로 밝혀졌으며, 전이 성공에 크게 영향을 미친다.
• 역학 랜덤라이제이션은 모든 경우에 필수적이지도, 충분하지도 않다. 시뮬레이션-시뮬레이션 테스트를 통해 명확한 모델링 오류(예: 지연 또는 액추에이터 불일치)가 식별된 경우에만 적용되어야 한다.

Figure 2 : Overview of our system. The input to the policy includes robot state and user commands. The output is a residual PD target, which is added to a reference target and applied to a joint PD controller. Various motions are achieved by using a library of gaits as reference trajectories.