[논문 리뷰] TuneNet: One-Shot Residual Tuning for System Identification and Sim-to-Real Robot Task Transfer

Adam Allevato, Elaine Schaertl Short외 2명|arXiv (Cornell University)|2019. 07. 25.

Fault Detection and Control Systems인용 수 16

한 줄 요약

TuneNet는 단일 관측과 최소한의 시뮬레이션을 사용하여 시뮬레이터와 실제 세계 간의 매개변수 차이를 추정하고 보정하는 신경망 기반 방법이다. 반복적으로 물리적 매개변수를 정밀 조정함으로써 빠르고 정확한 시스템 식별과 시뮬레이션에서 실제 세계로의 로봇 작업 전이를 가능하게 하며, 매개변수 추정 오차가 존재하는 상황에서도 동적 조작 작업에서 62%의 성공률을 달성한다.

ABSTRACT

As researchers teach robots to perform more and more complex tasks, the need for realistic simulation environments is growing. Existing techniques for closing the reality gap by approximating real-world physics often require extensive real world data and/or thousands of simulation samples. This paper presents TuneNet, a new machine learning-based method to directly tune the parameters of one model to match another using an *iterative residual tuning* technique. TuneNet estimates the parameter difference between two models using a single observation from the target and minimal simulation, allowing rapid, accurate and sample-efficient parameter estimation. The system can be trained via supervised learning over an auto-generated simulated dataset. We show that TuneNet can perform system identification, even when the true parameter values lie well outside the distribution seen during training, and demonstrate that simulators tuned with TuneNet outperform existing techniques for predicting rigid body motion. Finally, we show that our method can estimate real-world parameter values, allowing a robot to perform sim-to-real task transfer on a dynamic manipulation task unseen during training. Code and videos are available online at http://bit.ly/2lf1bAw.

연구 동기 및 목표

• 최소한의 실제 세계 데이터 수집을 통해 로봇 시뮬레이션의 현실 격차를 해소하기 위해.
• 실제 세계의 운동 특성과 일치하도록 시뮬레이터 매개변수를 조정하여 빠르고 정확한 시스템 식별을 가능하게 하기 위해.
• 단 한 개의 실제 세계 관측만을 사용하여 복잡한 동적 조작 작업에 대한 시뮬레이션에서 실제 세계로의 정책 전이를 지원하기 위해.
• 수천 번의 시뮬레이션 롤아웃이나 광범위한 실제 세계 미세조정을 피하는 샘플 효율적인 방법을 개발하기 위해.
• 실제 세계 조건에서의 일반화 능력을 갖춘 시뮬레이션에서 신경망을 훈련하여 매개변수 추정을 수행하기 위해.

제안 방법

• TuneNet는 단일 관측을 기반으로 시뮬레이터와 실제 세계 시스템 간의 잔차 매개변수 차이를 추정하는 신경망을 사용한다.
• 최소한의 시뮬레이션 샘플링으로도 가능한 반복적 조정 업데이트를 통해 시뮬레이터 매개변수를 정밀 조정한다.
• 대규모 합성 데이터셋에서 생성된 시뮬레이터와 실제 세계 관측의 쌍을 기반으로 지도 학습을 통해 네트워크를 훈련시킨다.
• 물리적으로 의미 있는 범위(예: 복원 계수 [0,1])로 매개변수 업데이트를 제약하여 현실성 확보.
• 시뮬레이터의 미분 가능성 활용으로 최적화 루프를 전부 수행하지 않아도 정확한 매개변수 보정을 가능하게 한다.
• 튜닝된 시뮬레이터를 사용해 작업 계획 및 실행을 수행하는 후속 시뮬레이션에서 실제 세계 정책 학습과 호환된다.

실험 결과

연구 질문

• RQ1 실제 세계에서의 단일 관측이 시뮬레이터 매개변수의 정확한 시스템 식별을 가능하게 하는가?
• RQ2 TuneNet가 기울기 기반 최적화 방법보다 샘플 효율성과 조정 속도 측면에서 뛰어나게 성능을 내는가?
• RQ3 최신의 시뮬레이션에서 실제 세계 기법과 비교해 복합체 운동 예측 정확도를 향상시키는가?
• RQ4 로봇이 단 한 개의 실제 세계 관측만을 사용하여 새로운 동적 조작 작업에 대해 시뮬레이션에서 실제 세계로의 작업 전이를 수행할 수 있는가?
• RQ5 TuneNet는 훈련 분포 외부의 매개변수 분포에 대해 얼마나 강건한가?

주요 결과

• TuneNet는 단 한 개의 실제 세계 관측과 최소한의 시뮬레이션을 사용하여 시뮬레이터를 튜닝함으로써 실제 세계의 볼 빛나기 시도 작업에서 62%의 성공률을 달성했다.
• 테이블 외부로 튀어나가는 경우(‘off-table’ 시도)를 제외한 결과, 성공률은 87%로 상승하여 관측 품질이 성능에 큰 영향을 미친다는 것을 시사한다.
• 튜닝된 복원 계수(COR)는 0.789 ± 0.024로 추정되었으며, 규정 기준인 0.68–0.72보다 높지만 여전히 높은 작업 성공률을 달성했다.
• TuneNet는 기울기 기반 최적화 기법에 비해 샘플 효율성과 조정 속도 측면에서 뛰어난 성능을 보였다.
• 훈련 분포 외부의 매개변수 값, 특히 새로운 값에 대해서도 일반화 능력을 입증했다.
• TuneNet의 훈련 및 튜닝 과정은 단일 GPU에서 7분 이내에 완료되어 계산 효율성이 뛰어나다는 점을 입증했다.