[논문 리뷰] Information-theoretic Model Identification and Policy Search using Physics Engines with Application to Robotic Manipulation

Shaojun Zhu, Andrew Kimmel외 1명|arXiv (Cornell University)|2017. 03. 22.

Robot Manipulation and Learning참고 문헌 22인용 수 7

한 줄 요약

이 논문은 물리 엔진을 사용하여 실제 밀기 상호작용을 통해 알 수 없는 물체의 관성 및 마찰 계수를 식별하는 데이터 효율적이고 베이지안 최적화 기반의 방법을 제안한다. 이는 정확한 운동 예측과 최적의 정책 탐색을 가능하게 한다. 제안된 방법은 시뮬레이션과 실제 로봇 조작 환경에서 모델-무료 강화 학습보다 우수한 성능을 보이며, 고속 밀기 작업 중 오차가 적고 물체를 떨어뜨리는 경우가 훨씬 적다.

ABSTRACT

We consider the problem of a robot learning the mechanical properties of objects through physical interaction with the object, and introduce a practical, data-efficient approach for identifying the motion models of these objects. The proposed method utilizes a physics engine, where the robot seeks to identify the inertial and friction parameters of the object by simulating its motion under different values of the parameters and identifying those that result in a simulation which matches the observed real motions. The problem is solved in a Bayesian optimization framework. The same framework is used for both identifying the model of an object online and searching for a policy that would minimize a given cost function according to the identified model. Experimental results both in simulation and using a real robot indicate that the proposed method outperforms state-of-the-art model-free reinforcement learning approaches.

연구 동기 및 목표

• 로봇이 수동 모델링에 의존하지 않고 물리적 상호작용을 통해 알 수 없는 물체의 기계적 특성을 학습할 수 있도록 하는 것.
• 실제 밀기 상호작용과 물리 시뮬레이션을 활용하여 질량, 마찰 계수 등의 물체 특성 파rameter를 데이터 효율적으로 식별하는 방법을 개발하는 것.
• 모델 식별과 정책 탐색을 하나의 베이지안 최적화 프레임워크 안에서 통합하여 샘플 효율성을 향상시키는 것.
• 저속 밀기 데이터로 학습된 모델을 사용하여 고속 밀기 정책을 최적화함으로써 인간 간섭을 최소화하는 것.
• 모델 파rameter의 불확실성을 체계적으로 다루어 강건한 정책 최적화를 지원하는 것.

제안 방법

• 물리 엔진을 사용하여 질량과 마찰 계수 등의 다양한 파rameter 값에서 물체의 운동을 시뮬레이션하여 실제 관측된 밀기 궤적과 일치시킴.
• 시뮬레이션된 궤적과 실제 궤적 간의 차이를 최소화하기 위해 그레디 엔트로피 서치를 사용한 베이지안 최적화를 통해 파rameter 공간을 효율적으로 탐색.
• 동일한 베이지안 최적화 프레임워크를 사용하여 식별된 모델 기반의 비용 함수를 최소화함으로써 최적의 밀기 정책을 탐색.
• 무작위 동작을 통해 실제 환경에서의 밀기 데이터를 수집하며, 물체 상태는 카메라(RealSense 및 Baxter의 손안 카메라)를 사용하여 추적하여 모델 식별에 활용.
• 물리 엔진에서 제공하는 알려진 운동 방정식을 활용하여, 동역학을 다시 학습하는 대신 알 수 없는 물리적 파rameter만 식별하는 데 집중.
• 모델 파rameter의 불확실성을 정량화하고 이를 탐색을 안내하는 데 사용하여 정책 최적화의 강건성을 향상.

실험 결과

연구 질문

• RQ1 물리 엔진과 베이지안 최적화를 조합하여 최소한의 실제 상호작용으로도 물체의 기계적 파rameter를 정확하고 데이터 효율적으로 식별할 수 있는가?
• RQ2 모델 식별에 사용된 동일한 프레임워크가 로봇 조작을 위한 정책 탐색에도 효과적으로 적용될 수 있는가?
• RQ3 저속 밀기 데이터로 학습된 모델이 더 긴 물체 운동 예측이 필요한 고속 밀기 작업으로 일반화되는 정도는 어떠한가?
• RQ4 실제 환경에서 모델-무료 강화 학습과 비교했을 때, 이 방법의 데이터 효율성과 성능 간의 상호 보완적 관계는 어떠한가?
• RQ5 식별된 파rameter의 불확실성을 어떻게 활용하여 정책의 강건성을 향상시키고 실패율을 낮출 수 있는가?

주요 결과

• 제안된 방법은 시뮬레이션과 실제 환경 실험 모두에서 모델-무료 PoWER 기준보다 고속 밀기 작업에서 최종 위치 오차가 유의미하게 낮아 보였다.
• 실제 환경 실험에서 제안된 방법은 PoWER 대비 물체를 테이블에서 떨어뜨리는 횟수를 50퍼센트 이상 줄였으며, 이는 더 높은 강건성을 의미한다.
• 시뮬레이션에서는 그레디 엔트로피 서치가 PoWER보다 더 빠르게 수렴하고 더 적은 반복 수를 필요로 하여 뛰어난 샘플 효율성을 보였다.
• 저속 밀기 데이터로 학습된 모델을 사용하여 추가적인 실제 환경 실험 없이도 고속 정책 최적화를 성공적으로 수행하였으며, 인간 간섭을 최소화하였다.
• PoWER는 실제 결과에서 높은 변동성을 보였는데, 이는 빈번한 물체 떨어짐으로 인한 과도한 보수성 때문일 가능성이 있으며, 제안된 방법은 일관된 성능을 유지하였다.
• 이 방법은 불확실성을 체계적으로 다룰 수 있었으며, 제한된 데이터로도 신뢰할 수 있는 정책 최적화를 가능하게 하였다.