[논문 리뷰] Using Parameterized Black-Box Priors to Scale Up Model-Based Policy Search for Robotics

Konstantinos Chatzilygeroudis, Jean-Baptiste Mouret|arXiv (Cornell University)|2017. 09. 20.

Reinforcement Learning in Robotics참고 문헌 48인용 수 32

한 줄 요약

이 논문은 고차원 로봇 시스템에 대해 데이터 효율적인 강화 학습을 스케일링하기 위해 파라미터화된 블랙박스 사전지식(특히 동역학 시뮬레이터)을 사용하는 모델 기반 정책 탐색 알고리즘인 Black-DROPS with GP-MI를 제안한다. 가우시안 프로세스를 통한 모델 불확실성 모델링과 블랙박스 최적화 프레임워크를 결합함으로써, 48차원 상태와 18차원 액션 공간을 가진 6족 로봇에서 30초 이내에 효과적인 정책 학습을 달성하였으며, 손상된 상태나 그대로 유지된 상태에서 이전 방법들을 능가하는 성능을 보였다.

ABSTRACT

The most data-efficient algorithms for reinforcement learning in robotics are model-based policy search algorithms, which alternate between learning a dynamical model of the robot and optimizing a policy to maximize the expected return given the model and its uncertainties. Among the few proposed approaches, the recently introduced Black-DROPS algorithm exploits a black-box optimization algorithm to achieve both high data-efficiency and good computation times when several cores are used; nevertheless, like all model-based policy search approaches, Black-DROPS does not scale to high dimensional state/action spaces. In this paper, we introduce a new model learning procedure in Black-DROPS that leverages parameterized black-box priors to (1) scale up to high-dimensional systems, and (2) be robust to large inaccuracies of the prior information. We demonstrate the effectiveness of our approach with the "pendubot" swing-up task in simulation and with a physical hexapod robot (48D state space, 18D action space) that has to walk forward as fast as possible. The results show that our new algorithm is more data-efficient than previous model-based policy search algorithms (with and without priors) and that it can allow a physical 6-legged robot to learn new gaits in only 16 to 30 seconds of interaction time.

연구 동기 및 목표

• 고차원 로봇 시스템에 대한 모델 기반 정책 탐색의 확장성을 해결하기 위해, 기존 방법들이 차원의 극복 문제로 인해 실패하는 상황을 대비한다.
• 차별화 가능하지 않은 모델이나 구조적 제약 조건 없이도, 동역학 시뮬레이터에서 유래한 사전 지식을 통합하여 실제 로봇 학습의 데이터 효율성과 계산 시간을 향상시킨다.
• 특히 손상되거나 복잡한 로봇 구성을 가진 상황에서 모델 정확도 부족과 실제 세계의 불확실성에도 강건한 정책 학습을 가능하게 한다.
• 블랙박스 최적화와 유연하고 조정 가능한 사전지식을 조합하여 물리적 로봇에서의 빠른 적응을 지원한다.

제안 방법

• 고차원 상태 및 액션 공간에서 정책 탐색을 이끄는 데 사용되는, 파라미터화된 블랙박스 사전지식(예: 물리 시뮬레이터)을 활용하는 Black-DROPS 내 새로운 모델 학습 절차를 도입한다.
• 모델 정확도의 불확실성을 포괄하기 위해 모델 정확도의 가우시안 프로세스 모델링(GP-MI)을 적용하여, 정확도가 떨어지는 상황에서도 장기 예측의 강건성을 확보한다.
• GP 모델에서 예측된 상태를 체인으로 연결하고 이를 다시 사전지식 시뮬레이터에 피드백하여 장기 시점의 동역학을 시뮬레이션하는 블랙박스 최적화 프레임워크를 사용한다.
• 임의의 정책 및 보상 파arameterization을 처리할 수 있는 순수 블랙박스, 도함수 기반 최적화 전략을 적용하여 정책 공간의 완전한 탐색을 가능하게 한다.
• 학습 중에 사전지식 모델의 파라미터를 조정하여, 사전지식 모델과 실제 세계의 동역학 간의 괴리에 대응할 수 있도록 알고리즘을 적응시킨다.
• 실제 상호작용 데이터와 사전지식 시뮬레이션을 결합하여, 재학습이나 아키텍처 변경 없이도 데이터 효율적이고 반복적인 방식으로 모델과 정책을 개선한다.

실험 결과

연구 질문

• RQ1 블랙박스 사전지식만을 사용하여 고차원 로봇 시스템(예: 48차원 상태, 18차원 액션 공간)에 대해 모델 기반 정책 탐색 알고리즘이 효과적으로 확장될 수 있는가?
• RQ2 파라미터화된 블랙박스 사전지식의 통합이 실제 로봇 학습에서 데이터 효율성과 계산 시간에 어떻게 기여하는가?
• RQ3 사전지식 모델이 정확도가 떨어지거나 로봇이 손상된 경우에도 알고리즘이 성능과 강건성을 유지할 수 있는가?
• RQ4 학습 속도와 최종 정책 성능 측면에서, 제안된 방법은 최신 모델 기반 및 베이지안 최적화 접근법과 어떻게 비교되는가?

주요 결과

• 제안된 방법은 실제 6족 헥사포드 로봇(48차원 상태, 18차원 액션 공간)에서 실세계 상호작용 시간 16~30초 내에 효과적인 보행 정책을 학습하였다.
• Black-DROPS with GP-MI는 손상되지 않은 헥사포드에서 중앙값 보행 속도 0.22 m/s를 달성하여 현실 격차 상황에서 IT&E 및 기타 베이스라인을 능가하였다.
• 뒷다리 제거 손상 상황에서는 8번째 에피소드에 중앙값 속도 0.21 m/s를 달성하였으며, IT&E는 단지 0.15 m/s에 그쳤다.
• 알고리즘은 더 높은 강건성을 보였으며, 자주 넘어지는 IT&E와 달리 항상 안전한 정책을 선택하여 낙상을 방지하였다.
• GP-MI의 사용 덕분에 효과적인 불확실성 모델링이 가능하여, 사전지식 시뮬레이터의 정확도가 떨어지는 상황에서도 안정적으로 학습이 이루어졌다.
• 유연한 블랙박스 프레임워크를 통해 사전지식과 실세계 데이터를 성공적으로 통합하여 재학습 없이도 빠른 적응이 가능했다.