[논문 리뷰] Follow the Gradient: Crossing the Reality Gap using Differentiable Physics (RealityGrad)

Jack Collins, Ross Brown외 2명|arXiv (Cornell University)|2021. 09. 10.

Robotic Path Planning Algorithms참고 문헌 26인용 수 4

한 줄 요약

이 논문은 실시간 롤아웃과 시뮬레이션 정밀도 향상에 의해 실세계로의 전이를 향상시키는 새로운 sim2real 방법인 RealityGrad를 소개한다. 이 방법은 미분 가능한 물리 엔진을 사용해 반복적으로 로봇 궤적을 최적화하고 시뮬레이션 파라미터를 보정한다. 기울기 기반 궤적 최적화와 시스템 식별을 결합함으로써, 데스크톱 CPU에서 1회 반복당 22분 이내에 작업 공간 오차를 66% 감소시켰으며, 로봇 조작 장치의 현실성 격차를 크게 줄였다.

ABSTRACT

We propose a novel iterative approach for crossing the reality gap that utilises live robot rollouts and differentiable physics. Our method, RealityGrad, demonstrates for the first time, an efficient sim2real transfer in combination with a real2sim model optimisation for closing the reality gap. Differentiable physics has become an alluring alternative to classical rigid-body simulation due to the current culmination of automatic differentiation libraries, compute and non-linear optimisation libraries. Our method builds on this progress and employs differentiable physics for efficient trajectory optimisation. We demonstrate RealitGrad on a dynamic control task for a serial link robot manipulator and present results that show its efficiency and ability to quickly improve not just the robot's performance in real world tasks but also enhance the simulation model for future tasks. One iteration of RealityGrad takes less than 22 minutes on a desktop computer while reducing the error by 2/3, making it efficient compared to other sim2real methods in both compute and time. Our methodology and application of differentiable physics establishes a promising approach for crossing the reality gap and has great potential for scaling to complex environments.

연구 동기 및 목표

• 모델링 오차와 노이즈의 차이로 인해 시뮬레이션에서 훈련된 정책이 실제 로봇에 배포될 때 실패하는 로봇 분야의 지속적인 현실성 격차를 해결한다.
• 영역 랜덤화와 같은 기존 sim2real 방법의 한계를 극복하며, 이는 종종 보수적이거나 비효율적인 정책을 초래한다.
• 실세계 정책 성능 향상과 시뮬레이션 모델 정확도 향상을 동시에 향상시키는 효율적이고 확장 가능하며 반복적인 접근법을 개발한다.
• 실제 로봇 데이터와 미분 가능한 물리 엔진을 활용해 기울기 기반 최적화를 통한 실시간 시뮬레이션 모델의 온라인 적응을 가능하게 한다.
• 미분 가능한 시뮬레이터가 제어 최적화 외에도 정확한 시스템 식별에 활용되어 장기적인 sim2real 전이 성능을 향상시킬 수 있음을 입증한다.

제안 방법

• 시뮬레이션 동역학을 통해 기울기를 계산할 수 있는 미분 가능한 물리 엔진을 사용하여, 제어 정책과 모델 파라미터의 기울기 기반 최적화를 가능하게 한다.
• 현재 모델 파라미터를 기반으로 미분 가능한 동역학을 갖춘 모델 예측 제어(MPC)를 사용해 K개의 최적 궤적을 시뮬레이션에서 생성한다.
• 생성된 최적 궤적을 기반으로 신경망 정책을 훈련시켜 기울기 전파가 가능한 정책 네트워크를 생성한다.
• 훈련된 정책을 실제 로봇에 적용하여 실세계 궤적 데이터를 수집한다.
• 시뮬레이션에서 기울기 강하법을 사용해 실로봇 궤적과 시뮬레이션 궤적 간의 차이를 최소화함으로써 시스템 식별을 수행한다.
• 궤적 최적화, 정책 훈련, 실세계 롤아웃, 시스템 식별을 포함한 전체 파이프라인을 반복함으로써 정책 성능과 시뮬레이션 정밀도를 점진적으로 향상시킨다.

실험 결과

연구 질문

• RQ1 미분 가능한 물리 엔진을 통해 단일 통합 파이프라인에서 로봇 궤적과 시뮬레이션 파라미터의 효율적이고 기울기 기반 최적화가 가능한가?
• RQ2 실세계 로봇 롤아웃은 미분 가능한 물리 시뮬레이터의 실제 로봇 동역학을 모델링하는 데 얼마나 정확도를 향상시킬 수 있는가?
• RQ3 미분 가능한 물리 기반의 반복적 sim2real 루프를 통해 현실성 격차는 작업 공간 오차 측면에서 얼마나 줄어들 수 있는가?
• RQ4 제안된 방법은 도메인 랜덤화로 훈련된 정책보다 더 효율적이고 보수적이지 않은 정책을 도출하는가?
• RQ5 이 방법은 고성능 GPU 가속을 요구하지 않고도 표준 데스크톱 하드웨어에서 계산적으로 효율적으로 실행될 수 있는가?

주요 결과

• RealityGrad는 기본 파라미터에서 시뮬레이션과 실제 로봇 궤적 간 누적 유클리드 오차를 129.79m에서 47.81m로 줄여 63%의 오차 감소를 달성했다.
• 시스템 식별 잔차는 기본 파라미터에서 350,155.24에서 1회 반복 후 28.87로 감소하여 시뮬레이션과 실제 동역학 간 강력한 일치를 보였다.
• 두 번째 반복 후 잔차는 12.26로 추가로 감소하였고, 시뮬레이션과 실제 궤적 간 누적 오차는 59.98m로 감소하여 지속적인 향상이 이루어졌음을 보였다.
• RealityGrad의 전체 반복은 데스크톱 CPU(AMD 3970, 128GB RAM)에서 22분 이내에 완료되어 높은 계산 효율성을 입증했다.
• 이 방법은 특히 관절 감쇠 값과 같은 핵심 물리적 파라미터를 정확하게 식별하여 시뮬레이션 모델이 실제 로봇 행동에 정확하게 校정될 수 있음을 보였다.
• 향상된 시뮬레이션 모델은 더 나은 정책 일반화와 더 빠른 수렴을 가능하게 하였으며, 이후 반복에서 정책이 더 효율적이고 진동이 적은 행동을 보였다.