[논문 리뷰] A User's Guide to Calibrating Robotics Simulators

Bhairav Mehta, Ankur Handa외 2명|arXiv (Cornell University)|2020. 11. 17.

Reinforcement Learning in Robotics참고 문헌 31인용 수 4

한 줄 요약

이 논문은 로봇 공학 분야에서 시뮬레이션에서 실제 환경으로의 전이 알고리즘 평가를 표준화하기 위해 시뮬레이션 파am터 추정(SIPE) 벤치마크를 소개한다. 실제 궤적을 사용하여 파am터 추정 방법을 평가한 결과, 수동 또는 고정 동작 접근 방식에 비해 학습된 정책과 분류기의 활용이 안정성과 성능 향상에 기여하는 것으로 나타났으며, 입자 기반 방법인 ADR 및 SimOpt는 이동 작업에서 강력한 제로샷 일반화 성능을 보였다.

ABSTRACT

Simulators are a critical component of modern robotics research. Strategies for both perception and decision making can be studied in simulation first before deployed to real world systems, saving on time and costs. Despite significant progress on the development of sim-to-real algorithms, the analysis of different methods is still conducted in an ad-hoc manner, without a consistent set of tests and metrics for comparison. This paper fills this gap and proposes a set of benchmarks and a framework for the study of various algorithms aimed to transfer models and policies learnt in simulation to the real world. We conduct experiments on a wide range of well known simulated environments to characterize and offer insights into the performance of different algorithms. Our analysis can be useful for practitioners working in this area and can help make informed choices about the behavior and main properties of sim-to-real algorithms. We open-source the benchmark, training data, and trained models, which can be found at https://github.com/NVlabs/sim-parameter-estimation.

연구 동기 및 목표

• 시뮬레이션 파am터 추정 및 시뮬레이션에서 실제 환경으로의 전이 알고리즘 평가를 위한 표준화된 벤치마크가 부족한 문제를 해결하기 위해.
• 로봇 공학 시뮬레이션에서 시스템 식별 및 캘리브레이션 방법을 비교하기 위한 통합 프레임워크를 제공하기 위해.
• 다양한 궤적 생성 전략(예: 시연 대비 학습된 정책)이 파am터 추정 성능에 미치는 영향을 분석하기 위해.
• 활동적 도메인 랜덤라이제이션 및 최적화 기반 방법에서 학습된 보상과 기저 진실 상태 차이의 효과를 평가하기 위해.
• 하위 강화 학습 작업에서 추정된 파am터의 제로샷 일반화 성능을 평가하기 위해.

제안 방법

• SIPE 벤치마크는 시뮬레이션 환경의 세트, 실제 로봇에서 확보한 전문가 궤적, 파am터 추정을 위한 훈련된 정책을 제공한다.
• 파am터 추정은 실제 궤적을 사용하여 질량 및 마찰 계수와 같은 시뮬레이터 파am터를 추론하는 시스템 식별 문제로 설정된다.
• 저자들은 시연(원격 제어 또는 전문가)과 훈련된 정책에 의해 생성된 궤적을 모두 사용하며, 동작는 고정된 것이 아니라 정책에서 유도된다.
• 활동적 도메인 랜덤라이제이션(ADR)과 SimOpt는 MSE 기반 비용 함수와 학습된 분류기를 모두 사용하여 평가된다.
• 제로샷 전이 평가 프로토콜은 추정된 파am터를 사용하여 하위 RL 에이전트의 성능을 측정하며, 목표 환경에서만 훈련된 에이전트와의 성능을 정규화하여 비교한다.
• 벤치마크는 재현 가능성을 위해 오픈소스 코드, 데이터셋, 훈련된 모델을 포함한다.

실험 결과

연구 질문

• RQ1 다양한 궤적 생성 방법(시연 대비 학습된 정책)이 파am터 추정의 안정성과 정확성에 어떤 영향을 미치는가?
• RQ2 활동적 도메인 랜덤라이제이션 및 최적화 기반 파am터 추정에서 학습된 보상(분류기를 통한)과 기저 진실 상태 차이의 영향은 무엇인가?
• RQ3 입자 기반 방법(예: ADR, SimOpt)은 추정된 파am터를 사용하여 하위 RL 훈련에 대해 얼마나 잘 일반화되는가?
• RQ4 후행 확률 복원을 단순한 입자 샘플링으로 대체할 수 있는가, 이는 하위 작업 성능을 저하시키지 않는가?
• RQ5 비용 함수의 선택이 다양한 로봇 작업에서 파am터 추정의 수렴성과 분산에 어떤 영향을 미치는가?

주요 결과

• 학습된 정책에 의해 생성된 궤적을 사용할 경우 고정 동작 시연에 비해 파am터 추정의 분산이 크게 감소하여 알고리즘의 안정성이 향상된다.
• 일부 환경에서 성능 저하가 발생하더라도 정책에 의해 생성된 궤적은 여러 알고리즘에서 학습을 안정화시키며, 추정 과정에서 노이즈를 감소시키는 데서 그 가치를 지닌다.
• 분류기를 통한 학습된 보상의 사용은 특히 ADR에서 분산과 불안정성을 증가시키지만, SimOpt는 이 접근 방식에서 유의미한 이점을 얻는다.
• ADR 및 SimOpt와 같은 입자 기반 방법은 강력한 제로샷 일반화 성능을 달성하여 전체 후행 확률 복원이 효과적인 시뮬레이션에서 실제 환경으로의 전이에 필수적인 것은 아님을 시사한다.
• 정확한 후행 확률 추정이 없더라도 수렴한 입자에서 샘플링하는 것만으로도 높은 하위 작업 성능을 달성할 수 있으며, 이는 실세계 적용에서 실용적인 효율성을 시사한다.