[논문 리뷰] Auto-Tuned Sim-to-Real Transfer

Yuqing Du, Olivia Watkins외 3명|arXiv (Cornell University)|2021. 04. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 4

한 줄 요약

이 논문은 상태 추정이나 보상 설계 없이도 실세계의 동적 특성을 반영하도록 시뮬레이터 시스템 파라미터를 자동으로 조정하는 자동 튜닝 방법을 제안한다. 이는 실세계에서의 순수 RGB 영상만을 사용하여, 파라미터 조정 문제를 탐색 문제로 재정의하고, 현재 파라미터가 너무 높은지 낮은지 예측하는 Search Param Model (SPM)을 사용함으로써, 단순 도메인 랜덤라이제이션보다 유의미하게 시뮬레이션에서 실세계로의 전이 성능을 향상시킨다. 특히 피커-인-홀이나 캐비닛 열기와 같이 동적 특성에 민감한 작업에서 두드러진 성능 향상을 보인다.

ABSTRACT

Policies trained in simulation often fail when transferred to the real world due to the `reality gap' where the simulator is unable to accurately capture the dynamics and visual properties of the real world. Current approaches to tackle this problem, such as domain randomization, require prior knowledge and engineering to determine how much to randomize system parameters in order to learn a policy that is robust to sim-to-real transfer while also not being too conservative. We propose a method for automatically tuning simulator system parameters to match the real world using only raw RGB images of the real world without the need to define rewards or estimate state. Our key insight is to reframe the auto-tuning of parameters as a search problem where we iteratively shift the simulation system parameters to approach the real-world system parameters. We propose a Search Param Model (SPM) that, given a sequence of observations and actions and a set of system parameters, predicts whether the given parameters are higher or lower than the true parameters used to generate the observations. We evaluate our method on multiple robotic control tasks in both sim-to-sim and sim-to-real transfer, demonstrating significant improvement over naive domain randomization. Project videos and code at https://yuqingd.github.io/autotuned-sim2real/

연구 동기 및 목표

• 도메인 랜덤라이제이션에 대한 수동 엔지니어링 의존도를 줄임으로써 로봇 분야에서의 시뮬레이션-실세계 전이 갭을 해소한다.
• 실세계 영상에서의 순수 RGB 관측값만을 사용하여 시뮬레이터 시스템 파라미터를 실세계 동적 특성에 자동으로 보정한다.
• 시뮬레이션 튜닝 과정에서 실세계 상태나 보상 함수 지식이 필요 없도록 한다.
• 시뮬레이션 동적 특성을 현실과 더 가깝게 일치시킴으로써 실세계 구현에서 정책의 일반화 능력과 성공률을 향상시킨다.

제안 방법

• 시뮬레이션-실세계 파라미터 튜닝 문제를 반복적으로 시뮬레이터 파라미터를 조정하여 실세계 값에 가깝게 만드는 탐색 문제로 재정의한다.
• 관측값과 행동 시퀀스, 현재 시뮬레이션 파라미터를 입력으로 받아 파라미터가 진짜 실세계 값보다 높은지 낮은지 또는 근접한지를 예측하는 Search Param Model (SPM)을 제안한다.
• 다양한 파라미터 설정을 가진 시뮬레이션 트레이젝터리에 대해 대비 학습을 적용하여 SPM을 훈련함으로써, 과대추정 및 과소추정된 파라미터 값을 구분하는 능력을 학습시킨다.
• SPM의 예측 결과를 바탕으로, 반복 업데이트를 통해 시뮬레이션 파라미터를 실세계 값 쪽으로 이동시키는 강화학습 정책을 가이드한다.
• 파라미터가 자동 튜닝된 후, 시뮬레이터가 보상 형태를 조정한 대규모이고 다양한 데이터를 생성할 수 있음을 활용하여, 견고한 정책을 훈련시킨다.
• 실세계 RGB 영상만을 사용하고 실세계 상태나 보상 함수 지식이 없는 조건에서, 시뮬레이션-시뮬레이션 및 시뮬레이션-실세계 전이 설정 모두에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 실세계에서의 순수 RGB 관측값만을 사용하여 시뮬레이터 시스템 파라미터를 실세계 동적 특성에 자동으로 튜닝할 수 있는가?
• RQ2 파라미터 튜닝 문제를 '너무 높은지 낮은지 예측하는' 탐색 문제로 재구성함으로써, 단순 도메인 랜덤라이제이션보다 더 정확하고 견고한 시뮬레이션-실세계 전이를 달성할 수 있는가?
• RQ3 실세계 상태나 보상 함수에 접근할 수 없는 조건에서, 자동 튜닝된 파라미터를 가진 시뮬레이션 데이터로 훈련된 모델이 실세계 로봇 제어 작업에 얼마나 잘 일반화되는가?
• RQ4 피커-인-홀이나 캐비닛 열기와 같이 동적 특성에 민감한 작업에서, 표준 도메인 랜덤라이제이션과 비교해 이 방법은 어떤 성능을 보이는가?

주요 결과

• Walker와 Ball-in-Cup과 같은 작업에서, 제안된 방법은 단순 도메인 랜덤라이제이션보다 시뮬레이션-실세계 전이 성능에서 성공률 향상이 일관되게 관찰되었다.
• cords peg-in-hole 작업에서는 이 방법이 구멍 쪽으로 일관되게 움직이며 가끔 성공을 기록한 반면, 도메인 랜덤라이제이션 기반 기준은 적절한 운동을 시작하지 못했다.
• 캐비닛 슬라이드 작업에서는 이 방법이 뚜껑을 일관되게 열 수 있었고, 반면 도메인 랜덤라이제이션 기준은 항상 과도하게 슬라이딩하며 실패했다.
• 이 방법은 도메인 랜덤라이제이션 기준보다 비교적 더 적은 20% 미만의 시뮬레이션 스텝 수로 동일하거나 더 높은 성능을 달성했다.
• 절단 분석 결과, Cheetah와 같이 파라미터 학습이 쉬운 환경에서는 이 방법이 견고한 반면, Ball-in-Cup처럼 민감한 동적 특성에서는 덜 안정적인 것으로 나타나, 파라미터 식별 가능성에 민감함을 보였다.
• 진짜 값이 초기에 랜덤라이제이션 범위를 벗어난 경우에도 이 방법은 시스템 파라미터를 성공적으로 학습했지만, 이러한 경우 수렴이 더 어려웠다.