[논문 리뷰] Model Identification via Physics Engines for Improved Policy Search.

Shaojun Zhu, Andrew Kimmel외 2명|arXiv (Cornell University)|2017. 10. 24.

Robot Manipulation and Learning인용 수 10

한 줄 요약

이 논문은 기계적 파rameter(예: 질량, 마찰계수)를 정확하게 식별하기 위해 상용 물리 엔진과 블랙박스 베이지안 최적화를 조합하여 로봇 시스템의 정확한 시뮬레이션 기반 정책 탐색을 가능하게 한다. TRPO, PoWER, PILCO와 같은 알고리즘의 정책 학습 성능을 향상시키기 위해 실제 궤적과 유사한 '충분히 좋은' 모델을 구축함으로써, 추가적인 실제 데이터가 필요로 하지 않으며, 물리 엔진의 정확도가 떨어지는 문제를 해결한다.

ABSTRACT

This paper presents a practical approach for identifying unknown mechanical parameters, such as mass and friction models of manipulated rigid objects or actuated robotic links, in a succinct manner that aims to improve the performance of policy search algorithms. Key features of this approach are the use of off-the-shelf physics engines and the adaptation of a black-box Bayesian optimization framework for this purpose. The physics engine is used to reproduce in simulation experiments that are performed on a real robot, and the mechanical parameters of the simulated system are automatically fine-tuned so that the simulated trajectories match with the real ones. The optimized model is then used for learning a policy in simulation, before safely deploying it on the real robot. Given the well-known limitations of physics engines in modeling real-world objects, it is generally not possible to find a mechanical model that reproduces in simulation the real trajectories exactly. Moreover, there are many scenarios where a near-optimal policy can be found without having a perfect knowledge of the system. Therefore, searching for a perfect model may not be worth the computational effort in practice. The proposed approach aims then to identify a model that is good enough to approximate the value of a locally optimal policy with a certain confidence, instead of spending all the computational resources on searching for the most accurate model. Empirical evaluations, performed in simulation and on a real robotic manipulation task, show that model identification via physics engines can significantly boost the performance of policy search algorithms that are popular in robotics, such as TRPO, PoWER and PILCO, with no additional real-world data.

연구 동기 및 목표

• 불완전한 물리 엔진 시뮬레이션으로 인한 정확도 낮은 시스템 모델 문제를 해결하기 위해.
• 정책 최적화를 위한 충분한 정밀도를 확보하는 데 초점을 맞춰, 고정밀도 시스템 식별에 필요한 계산 비용을 줄이기 위해.
• 캘리브레이션된 모델을 사용해 시뮬레이션에서 정책을 훈련시켜 실제 로봇에 안전하고 효율적으로 정책을 구현하기 위해.
• TRPO, PoWER, PILCO와 같은 샘플 효율적인 정책 탐색 알고리즘의 성능을 모델 식별을 통해 향상시키기 위해.
• 완벽한 시스템 모델이 아니더라도 시뮬레이션이 현실에 충분히 가까운 경우, 근사 최적의 정책을 학습시킬 수 있음을 보여주기 위해.

제안 방법

• 물리 실험을 통해 확보한 실제 로봇 궤적을 모델 캘리브레이션의 기준 데이터로 활용한다.
• 물리 엔진을 사용해 동일한 작업을 시뮬레이션하고 다양한 기계적 파rameter 조건에서 합성 궤적을 생성한다.
• 알 수 없는 파rameter(예: 질량, 마찰계수)를 조정하기 위해 블랙박스 베이지안 최적화 프레임워크를 적용하여 시뮬레이션 궤적이 실제 궤적과 일치하도록 한다.
• 완벽한 정확도를 추구하기보다는 국소적으로 최적의 정책을 학습시킬 수 있도록 충분한 정밀도를 확보하는 데 초점을 맞춘다.
• 캘리브레이션된 시뮬레이션 환경에서 정책을 훈련한 후 실제 로봇에 배포한다.
• 캘리브레이션된 모델을 활용해 TRPO, PoWER, PILCO와 같은 정책 탐색 알고리즘의 샘플 효율성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 최소한의 실제 데이터만으로 상용 물리 엔진을 효과적으로 활용해 로봇 시스템의 기계적 파rameter를 식별할 수 있는가?
• RQ2 완벽한 모델이 아닌 '충분히 좋은' 모델을 식별하는 것이 실제로 더 나은 정책 학습 성능을 이끌어내는가?
• RQ3 시뮬레이션을 통한 모델 식별이 TRPO 및 PILCO와 같은 정책 탐색 알고리즘의 성능을 얼마나 향상시킬 수 있는가?
• RQ4 계산 비용과 정책 성능 측면에서 제안된 방법은 다른 대안적 접근 방식과 어떻게 비교되는가?
• RQ5 캘리브레이션된 시뮬레이션 모델은 실제 로봇 시스템에 정책을 안전하고 신뢰성 있게 배포하는 데에 효과적으로 기여하는가?

주요 결과

• 제안된 모델 식별 방법은 시뮬레이션 및 실제 로봇 조작 작업 모두에서 TRPO, PoWER, PILCO와 같은 정책 탐색 알고리즘의 성능을 크게 향상시킨다.
• 초기 궤적 외에 추가적인 실제 데이터가 전혀 필요로 하지 않음에도 불구하고, 더 나은 정책 학습 성능을 달성한다.
• 물리 엔진이 본질적으로 정확도가 떨어지더라도, 이 방법은 시뮬레이션 모델을 실제 동역학과 유사하게 캘리브레이션하는 데 성공한다.
• 완벽한 모델을 얻는 것에 비해 훨씬 적은 계산 자원으로도 정책 최적화에 충분한 '충분히 좋은' 모델을 식별할 수 있음을 입증한다.
• 캘리브레이션된 시뮬레이션 환경은 실제 로봇에 정책을 안전하고 효과적으로 배포할 수 있도록 하여, 실제 실행 시 실패 위험을 줄인다.
• 실증 결과는 이 방법이 복잡한 로봇 조작 작업에서 정책 탐색 알고리즘의 샘플 효율성과 수렴 속도를 향상시킨다는 것을 확인한다.