[논문 리뷰] Learning Active Task-Oriented Exploration Policies for Bridging the Sim-to-Real Gap

Jacky Liang, Saumya Saxena외 1명|arXiv (Cornell University)|2020. 06. 02.

Reinforcement Learning in Robotics참고 문헌 36인용 수 5

한 줄 요약

이 논문은 로봇 조작에서 시뮬레이션과 실제 환경 간 격차를 줄이기 위해 작업에 특화된 시스템 파라미터를 명시적으로 식별하는 활성적이고 작업 중심의 탐색 정책을 제안한다. 일반적인 모델 정확도가 아닌 후속 작업 성능을 최적화함으로써 탐색을 수행함으로써, 특히 제한된 탐색 예산 하에서 작업 무시 탐색보다 훨씬 뛰어난 실제 환경 내 작업 성능을 달성한다.

ABSTRACT

Training robotic policies in simulation suffers from the sim-to-real gap, as simulated dynamics can be different from real-world dynamics. Past works tackled this problem through domain randomization and online system-identification. The former is sensitive to the manually-specified training distribution of dynamics parameters and can result in behaviors that are overly conservative. The latter requires learning policies that concurrently perform the task and generate useful trajectories for system identification. In this work, we propose and analyze a framework for learning exploration policies that explicitly perform task-oriented exploration actions to identify task-relevant system parameters. These parameters are then used by model-based trajectory optimization algorithms to perform the task in the real world. We instantiate the framework in simulation with the Linear Quadratic Regulator as well as in the real world with pouring and object dragging tasks. Experiments show that task-oriented exploration helps model-based policies adapt to systems with initially unknown parameters, and it leads to better task performance than task-agnostic exploration.

연구 동기 및 목표

• 도메인 랜덤라이제이션과 모델 프리 퍼티닝에 대한 의존도를 줄임으로써 로봇 정책 학습에서 시뮬레이션과 실제 환경 간 격차를 해소한다.
• 모든 시스템 파라미터를 동일하게 다루는 작업 무시 탐색의 한계를 극복한다. 이는 탐색 예산이 제한된 상황에서 성능이 열 劣할 수 있음을 시사한다.
• 탐색 정책을 최적화하여 작업 성능에 가장 민감한 동역학 파라미터의 정확도를 극대화하는 프레임워크를 개발한다.
• 재학습 없이도 다양한 시스템 파라미터와 작업 목표 간에 학습된 탐색 정책의 일반화를 가능하게 한다.
• 식별된 파라미터를 활용해 모델 기반 궤적 최적화를 통해 시뮬레이션과 실제 환경을 연결한다.

제안 방법

• 작업 목표와 시스템 파라미터의 분포를 사용해 시뮬레이션에서 탐색 정책을 학습하며, 작업 비용 민감도에 따라 동역학 예측 오차에 가중치를 부여하는 손실을 사용한다.
• 내재된 샘플링 방법을 사용해 탐색 정책에 대한 기울기를 계산하며, 시스템 파라미터와 작업 목표에 대해 유한 차분 근사치를 통합한다.
• 학습된 탐색 정책을 실제 환경에 적용하여 질량, 마찰 계수 등 알려지지 않은 동역학 파라미터의 시스템 식별(시스템 식별, Sys-Id)을 위한 궤적을 수집한다.
• 식별된 파라미터를 모델 기반 궤적 최적화기(예: LQR 또는 직접 궤적 최적화)에 입력하여 실제 환경 실행을 위한 작업 정책을 생성한다.
• 탐색 동작을 작업 핵심 파라미터에 민감하도록 설계한다. 예를 들어, 당기기 작업에서 토크 마찰을 탐지하기 위해 물체의 질량 중심에서 더 멀리서 시작하도록 한다.
• 분석 모델(LQR)과 전체 동역학 시뮬레이터(예: PyBullet)를 모두 사용해 시뮬레이션 및 실제 환경 작업에 걸쳐 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 작업 중심의 탐색이 작업 무시 탐색보다 더 나은 실제 환경 작업 성능을 이끄는 시스템 파라미터를 식별하는 데서 성능이 뛰어나다고 할 수 있는가?
• RQ2 제한된 탐색 예산 하에서 후속 작업 비용 민감도를 최적화해 탐색을 수행하면, 알 수 없는 실제 환경 동역학에 대한 적응성이 향상되는가?
• RQ3 재학습 없이도 다양한 시스템 파라미터와 작업 목표에 걸쳐 단일 학습된 탐색 정책이 일반화 가능한가?
• RQ4 작업 중심의 탐색은 랜덤 또는 수동 탐색과 비교해 시스템 식별 정확도와 최종 작업 비용 측면에서 어떻게 다른가?
• RQ5 고차원 파라미터 공간에서, 작업 중심의 탐색은 작업 무시 방법에 비해 탐색의 유효 차원 수를 줄이는가?

주요 결과

• 상자 끌기 작업에서, 작업 중심 탐색은 작업 무시 탐색 및 랜덤 탐색보다 실제 환경 내 작업 실행 비용의 평균과 표준편차를 크게 낮춘다.
• 상자 끌기 작업에서, 작업 중심 정책은 작업 무시 정책 대비 평균 비용을 50% 이상 감소시켰으며, 각 방법당 48회의 시험을 수행해 다양한 상자 질량과 표면 재질을 대상으로 하였다.
• 작업 중심 탐색 정책은 궤적을 물체의 질량 중심에서 더 멀리서 시작함으로써 토크 마찰 파라미터에 더 민감한 경향을 보였다.
• LQR 시뮬레이션 작업에서, 작업 중심 정책은 훈련 기간 동안 더 낮은 회귀 비율과 더 높은 파라미터 추정 정확도를 달성했다.
• 倒기 작업에서, 작업 중심 정책은 작업에 관련된 컵의 질량을 더 효과적으로 식별하여 실제 환경 실행에서 성공률을 향상시켰다.
• 재학습 없이도 다양한 시스템 파라미터와 작업 목표 간에 프레임워크가 일반화되었으며, 학습된 탐색 정책의 강건성과 전이 가능성의 우수함을 입증했다.