[논문 리뷰] Modelling Generalized Forces with Reinforcement Learning for Sim-to-Real Transfer

Rae Jeong, Jackie Kay외 7명|arXiv (Cornell University)|2019. 10. 21.

Reinforcement Learning in Robotics참고 문헌 22인용 수 16

한 줄 요약

이 논문은 로봇 조작의 시뮬레이션에서 실세계로의 전이 성능을 향상시키기 위해 상태에 따라 변하는 일반화된 힘을 모델링하기 위한 강화학습 기반 방법을 제안한다. 단 몇 분의 실세계 데이터로부터 표현력 있고 물리학에 기반한 힘 보정을 학습함으로써, 3차원 위치 일치 작업에서 84%의 성공률을 달성하며 기존 기준 모델을 크게 능가하고 복잡한 6차원 자세 작업으로의 강건한 전이를 입증한다.

ABSTRACT

Learning robotic control policies in the real world gives rise to challenges in data efficiency, safety, and controlling the initial condition of the system. On the other hand, simulations are a useful alternative as they provide an abundant source of data without the restrictions of the real world. Unfortunately, simulations often fail to accurately model complex real-world phenomena. Traditional system identification techniques are limited in expressiveness by the analytical model parameters, and usually are not sufficient to capture such phenomena. In this paper we propose a general framework for improving the analytical model by optimizing state dependent generalized forces. State dependent generalized forces are expressive enough to model constraints in the equations of motion, while maintaining a clear physical meaning and intuition. We use reinforcement learning to efficiently optimize the mapping from states to generalized forces over a discounted infinite horizon. We show that using only minutes of real world data improves the sim-to-real control policy transfer. We demonstrate the feasibility of our approach by validating it on a nonprehensile manipulation task on the Sawyer robot.

연구 동기 및 목표

• 실세계 데이터를 활용하여 시뮬레이션 정밀도를 향상시켜 로봇 조작의 시뮬레이션-실세계 격차를 해소하기 위해.
• 분석 모델이 포착하지 못하는 복잡한 상태에 따라 변하는 구속력(제약력)을 모델링하기 위해.
• 단 몇 분의 실세계 데이터만으로도 효율적인 시뮬레이션-실세계 전이를 가능하게 하기 위해.
• 물리적 해석 가능성은 유지하면서도 힘 모델링에서 높은 표현력을 달성하는 방법을 개발하기 위해.
• 3차원 및 6차원 자세 일치와 같은 비포획 조작 작업에서 향상된 정책 전이 성능를 입증하기 위해.

제안 방법

• 시뮬레이션과 실세계 역학 간의 격차를 보정하기 위해 추가적인 상태에 따라 변하는 일반화된 힘(GFM)을 도입한다.
• 일반화된 힘은 신경망을 함수 근사기로 사용하여 모델링하며, 할인된 무한 수렴 기간 동안 강화학습을 통해 훈련한다.
• 강화학습 목적함수는 시뮬레이션과 실세계 상태 전이 간의 격차를 최소화하도록 일반화된 힘 정책을 최적화한다.
• 해석적 역학과 학습된 일반화된 힘을 조합한 하이브리드 모델을 사용하여 방법을 검증한다.
• 훈련 안정성과 샘플 효율성을 향상시키기 위해 커리큘럼 학습 전략을 적용한다.
• 에이전트의 행동이 아닌 환경 역학을 수정함으로써 기존의 지상 동작 변환(Ground Action Transformation)을 일반화한다.

실험 결과

연구 질문

• RQ1 최소한의 실세계 데이터로부터 상태에 따라 변하는 일반화된 힘을 효과적으로 학습시켜 시뮬레이션-실세계 전이 성능를 향상시킬 수 있는가?
• RQ2 일반화된 힘 학습은 도메인 랜덤라이제이션 또는 커리큘럼 학습에 비해 시뮬레이션-실세계 성능에서 어떻게 비교되는가?
• RQ3 제안된 방법은 6차원 자세 일치와 같은 다양한 조작 작업으로 일반화 가능한가?
• RQ4 데이터 활용도와 정책 성능를 균형 잡기 위해 최적의 일반화된 힘 모델 수는 얼마인가?
• RQ5 복잡한 역학을 모델링하는 데 있어 고도로 표현력 있는 성능를 달성하면서도 물리적 해석 가능성은 유지되는가?

주요 결과

• 제안된 방법은 3차원 위치 일치 작업에서 84%의 성공률을 기록하여 원본 모델(38%)과 다른 기준 모델을 크게 능가했다.
• 세 개의 일반화된 힘 모델을 앙상블로 사용할 경우 최고의 성능를 기록했으며, 다섯 개의 모델은 과적합과 작업 복잡도 증가로 인해 성능 저하를 보였다.
• 세 개의 GFM을 포함한 하이브리드 모델은 더 도전적인 6차원 자세 일치 작업에서 전이 성능를 18%에서 44%로 향상시켰다.
• 단 몇 분의 실세계 데이터만으로도 시뮬레이션-실세계 전이 성능가 상당히 향상됨을 입증했다.
• 커리큘럼 학습 및 무작위 변형 기반 모델에 비해 성능가 뛰어나, 힘 보정을 학습시키는 것이 히우리스틱적 데이터 증강보다 효과적임을 보여주었다.
• 결과적으로 일반화된 힘 모델의 수를 적절히 조절하는 것이 과적합을 방지하고 최적의 정책 성능유지에 매우 중요하다는 점을 시사한다.