[논문 리뷰] Deep Predictive Policy Training using Reinforcement Learning

Ali Ghadirzadeh, Atsuto Maki외 2명|arXiv (Cornell University)|2017. 03. 02.

Reinforcement Learning in Robotics참고 문헌 25인용 수 16

한 줄 요약

이 논문은 세 부분으로 구성된 신경망 아키텍처(인식, 정책, 행동 슈퍼레이어)를 사용하는 데이터 효율적인 딥 예측 정책 훈련(DPPT) 프레임워크를 제안한다. 이는 오직 180번의 실제 로봇 시험만으로도 실세계 로봇 기술 학습을 가능하게 한다. 이 방법은 인식 및 행동 레이어를 합성 및 시뮬레이션 데이터로 훈련하고, 소규모 정책 레이어는 오직 질적 종료 보상만을 사용하여 강화 학습으로 미세조정한다. 이를 통해 PR2 로봇에서 성공적인 집기 및 볼 던지기 작업을 수행할 수 있었다.

ABSTRACT

Skilled robot task learning is best implemented by predictive action policies due to the inherent latency of sensorimotor processes. However, training such predictive policies is challenging as it involves finding a trajectory of motor activations for the full duration of the action. We propose a data-efficient deep predictive policy training (DPPT) framework with a deep neural network policy architecture which maps an image observation to a sequence of motor activations. The architecture consists of three sub-networks referred to as the perception, policy and behavior super-layers. The perception and behavior super-layers force an abstraction of visual and motor data trained with synthetic and simulated training samples, respectively. The policy super-layer is a small sub-network with fewer parameters that maps data in-between the abstracted manifolds. It is trained for each task using methods for policy search reinforcement learning. We demonstrate the suitability of the proposed architecture and learning framework by training predictive policies for skilled object grasping and ball throwing on a PR2 robot. The effectiveness of the method is illustrated by the fact that these tasks are trained using only about 180 real robot attempts with qualitative terminal rewards.

연구 동기 및 목표

• 로봇에서 예측 동작 정책을 훈련하기 위한 데이터 효율적인 프레임워크를 개발하는 것.
• 원시 시각 데이터로부터 임무 관련 상태 표현을 학습함으로써 전문가가 설계한 특징에 대한 의존도를 줄이는 것.
• 비전문가 운영자가 접근할 수 있는 질적 종료 보상만을 사용하여 복잡한 운동 기술을 훈련할 수 있도록 하는 것.
• 시뮬레이션에서 인식 및 행동 레이어를 사전 훈련하고 실제 로봇 데이터로 정책을 미세조정함으로써 시뮬레이션에서 실제 환경으로의 전이 갭을 줄이는 것.
• 스케일링 가능한 기능 추상화를 통해 인식 모델의 미지의 시각적 방해 요소에 대한 강건성을 향상시키는 것.

제안 방법

• 아키텍처는 세 가지 슈퍼레이어를 사용한다: 인식(시각 입력을 추상화함), 정책(추상화된 상태를 운동 시퀀스로 매핑함), 행동(운동 궤적을 추상화함).
• 인식 및 행동 슈퍼레이어는 각각 합성 및 시뮬레이션 데이터를 사용하여 사전 훈련하여 실제 세계 데이터 의존도를 줄인다.
• 소규모 정책 슈퍼레이어(매개변수 수가 적은 하위 네트워크)는 오직 질적 종료 보상만을 사용하여 강화 학습으로 훈련된다.
• 강화 학습은 전체 궤적을 평가하는 보상 함수를 사용하는 확률적 정책 탐색을 활용한다(예: 성공적인 집기나 던지기 시 +2).
• 블라인드 컨트롤러를 활용하여 행동 레이어 훈련 샘플을 생성하며, 향후 인간의 시연나 모션 캡처로의 확장 가능성이 있다.
• 공유된 기능을 활용함으로써 프레임워크는 작업과 레이어 간 전이 학습을 가능하게 하여 다중 물체 조작을 지원한다.

실험 결과

연구 질문

• RQ1 최소한의 실제 세계 데이터와 오직 질적 종료 보상만을 사용하여 딥 예측 정책을 효과적으로 훈련시킬 수 있는가?
• RQ2 합성 및 시뮬레이션 데이터로부터 인식 및 행동 추상화를 효율적으로 학습하여 실제 로봇 상호작용을 줄일 수 있는가?
• RQ3 이 아키텍처는 실제 환경에서의 미지의 방해 요소에 얼마나 잘 일반화되는가?
• RQ4 단순히 시퀀스의 종료 보상만을 사용하여 정책 슈퍼레이어를 효과적으로 훈련시킬 수 있는가? (단계별 감독 없이)
• RQ5 모듈식 아키텍처는 다양한 조작 작업 간 전이 학습을 어떻게 지원하는가?

주요 결과

• 이 프레임워크는 오직 180번의 실제 로봇 시험만을 사용하여 PR2 로봇에서 볼 던지기 및 물체 집기 작업을 위한 예측 정책을 성공적으로 훈련시켰다.
• 볼 던지기 작업에서 결정성 정책은 방해 요소가 없는 조건에서 평균 보상 1.58을 기록하여 대부분의 던지기가 목표에 도달했음을 나타냈다.
• 알려진 방해 요소가 있는 조건에서도 평균 보상은 1.58을 유지하여 이전에 본 적 있는 물체에 대해 강건함을 보였다.
• 미지의 방해 요소가 있는 조건에서는 평균 보상이 0.83으로 떨어져 인식 모델의 일반화 부족으로 인한 성능 저하를 보였다.
• 인식 모델의 기능 추출이 새로운 물체에 민감하며, 도서관 주변의 기능을 잘못 클러스터링하는 것으로 나타났다 (그림 8 참조).
• 질적 보상만을 사용하여 정책 슈퍼레이어를 훈련시킨 결과 높은 성능을 달성하여, 비전문가가 애너테이션한 보상 신호가 복잡한 기술 학습에 가능함을 입증했다.