[논문 리뷰] Rethinking Sim2Real: Lower Fidelity Simulation Leads to Higher Sim2Real Transfer in Navigation

Joanne Truong, Max Gustav Rudolph외 4명|arXiv (Cornell University)|2022. 07. 21.

Data Visualization and Analytics인용 수 13

한 줄 요약

이 논문은 다리 달린 로봇 주행에서 더 높은 정밀도의 시뮬레이션은 sim2real 전이를 향상시킨다는 가정을 도전한다. 실제 로봇으로부터 수집한 현실적인 액추에이터 노이즈를 주입한 저정밀도 운동학적 시뮬레이션에서 정책을 훈련시킴으로써, 고정밀도 동역학 시뮬레이터에서 훈련한 경우보다 실제 환경에서 더 뛰어난 성능을 달성한다. 이는 저정밀도 시뮬레이션에 정확한 노이즈 모델링을 적용할 경우 더 나은 sim2real 일반화가 가능하다는 것을 보여준다.

ABSTRACT

If we want to train robots in simulation before deploying them in reality, it seems natural and almost self-evident to presume that reducing the sim2real gap involves creating simulators of increasing fidelity (since reality is what it is). We challenge this assumption and present a contrary hypothesis -- sim2real transfer of robots may be improved with lower (not higher) fidelity simulation. We conduct a systematic large-scale evaluation of this hypothesis on the problem of visual navigation -- in the real world, and on 2 different simulators (Habitat and iGibson) using 3 different robots (A1, AlienGo, Spot). Our results show that, contrary to expectation, adding fidelity does not help with learning; performance is poor due to slow simulation speed (preventing large-scale learning) and overfitting to inaccuracies in simulation physics. Instead, building simple models of the robot motion using real-world data can improve learning and generalization.

연구 동기 및 목표

• 더 높은 정밀도의 시뮬레이션이 다리 달린 로봇 주행에서 sim2real 전이를 향상시키는가를 조사하는 것.
• 실제 로봇으로부터 수집한 현실적인 액추에이터 노이즈 모델링을 통해 시뮬레이션과 실제 세계 간의 격차를 해소하는 것.
• 운동학 정책을 노이즈 주입으로 훈련한 것이 고정밀도 시뮬레이터에서 동역학 정책을 훈련한 것보다 더 잘 일반화되는가를 평가하는 것.
• 훈련 및 평가 시뮬레이터 간 성능 격차를 측정하여 동역학 시뮬레이션에서의 과적합 정도를 정량화하는 것.
• 시뮬레이션 정밀도를 단순화하면서도 노이즈 모델링을 통해 현실성을 향상시킴으로써 sim2real 전이가 향상될 수 있음을 보여주는 것.

제안 방법

• 빈 방에서 Boston Dynamics Spot 로봇을 대상으로 분리된 명령어와 결합된 속도 명령어를 사용하여 실제 환경의 액추에이터 노이즈를 수집하였다.
• 수집된 노이즈 데이터에 이元 정규분포를 적합하여 정면, 횡방향, 각속도의 불확실성을 모델링하였다.
• 훈련 중에 상태 업데이트 이전에 정책이 예측한 속도에 샘플링된 노이즈를 운동학적 시뮬레이션에 주입하여 노이즈를 삽입하였다.
• 일반화된 이득 추정(GAE)을 사용한 Proximal Policy Optimization(PPO)를 사용하여 고수준 주행 정책을 훈련하였으며, 할인 인자 0.99와 GAE 파라미터 0.95를 적용하였다.
• 지형 거리의 형태 조정, 충돌 페널티(-0.03), 넘어짐 페널티(-5.0), 성공 보상(10.0), 스트레스 페널티(-0.002), 후진 운동 페널티(-0.03)를 포함하는 보상 함수를 설계하였다.
• 성공률을 측정하여, 두 하위 제어기인 Raibert 및 MPC를 사용한 sim2sim 및 운동학적 제어기에서 동역학적 제어기로의 전이 설정에서 정책을 평가하였다.

실험 결과

연구 질문

• RQ1 실제 액추에이터 노이즈를 주입한 저정밀도 운동학적 시뮬레이션에서 훈련한 정책이 고정밀도 동역학 시뮬레이터에서 훈련한 정책보다 더 나은 sim2real 전이를 달성하는가?
• RQ2 액추에이터 노이즈 모델링은 다양한 시뮬레이터와 제어기 간 정책 일반화에 어떤 영향을 미치는가?
• RQ3 동역학 정책이 자신이 훈련된 특정 시뮬레이터와 제어기에 과적합되는 정도는 어느 정도인가?
• RQ4 훈련 시뮬레이터(Habitat-Dynamic)와 평가 시뮬레이터(iGibson-Dynamic) 간 성능 격차가 동역학 정책에 비해 운동학 정책에 노이즈 주입을 적용한 경우 더 큰가?
• RQ5 모든 방향으로 동시에 명령을 내리는 결합된 노이즈 모델링이 분리된 노이즈 모델링보다 더 나은 실제 환경 성능을 내는가?

주요 결과

• Raibert 제어기를 사용한 iGibson에서 A1 로봇의 성공률은 운동학적 시뮬레이션에서 훈련한 정책이 68.9%를 기록하여, 동역학적 시뮬레이션에서 훈련한 정책(45.4%)보다 뛰어나, 동역학 제어기에서 평가된 경우에도 동일한 성과를 보였다.
• 동역학 정책의 경우 훈련 시간이 길어질수록 훈련 시뮬레이터(Habitat-Dynamic)와 평가 시뮬레이터(iGibson-Dynamic) 간 성능 격차가 커지며 과적합이 발생하는 것으로 나타났다. 예를 들어, A1의 경우 5000만 스텝 후 27.2%의 격차가 발생하였다.
• 결합된 노이즈 모델(σₓ=0.054 m/s, σᵧ=0.065 m/s, σω=2.599 deg/s)이 분리된 모델(σₓ=0.036 m/s, σᵧ=0.044 m/s, σω=1.468 deg/s)보다 실제 환경 전이에서 더 뛰어난 성능을 보였으며, 둘 다 노이즈 모델링 없이 훈련한 경우보다 향상된 성능을 보였다.
• 실제 환경의 액추에이터 노이즈는 비대칭적이고 전방위적이지 않았다: 정면 방향으로 표준편차는 0.097 m, 횡방향으로는 0.139 m였으며, 이는 0.5 m/s에서 속도 포화를 적용할 근거가 되었다.
• Boston Dynamics의 Raibert 제어기와 같이 정교하게 캘리브레이션된 제어기조차도 다리 달린 로봇이 상당한 추적 오차를 보이므로, 시뮬레이션에서 노이즈 모델링을 도입할 필요성이 제기된다.
• A1, Aliengo, Spot를 포함한 모든 로봇에서, 노이즈 주입을 적용한 운동학 정책의 성공률은 동역학 정책보다 일관되게 높게 유지되었으며, 이는 현실적인 노이즈 모델링을 적용한 저정밀도 시뮬레이션에서 sim2real 전이가 더 우수하다는 것을 확인시켰다.