[논문 리뷰] Unsupervised Perceptual Rewards for Imitation Learning

Pierre Sermanet, Kelvin Xu외 1명|arXiv (Cornell University)|2016. 12. 20.

Reinforcement Learning in Robotics참고 문헌 25인용 수 5

한 줄 요약

이 논문은 사전 훈련된 깊은 시각 특징을 활용하여 단지 몇 개의 인간 시범 영상에서만 밀도 높고 지각 기반의 보상 함수를 비지도 학습 방식으로 학습하는 방법을 제안한다. 이 방법은 감독 없이도 중간 단계의 보조 목표와 구분 가능한 시각적 특징을 자동으로 발견하며, 실제 로봇이 인간이 취한 자세의 영상 시범만으로도 문 열기와 같은 복잡한 조작 기술을 성공적으로 학습할 수 있도록 한다. 성능는 진정한 보상 신호와 유사하다.

ABSTRACT

Reward function design and exploration time are arguably the biggest obstacles to the deployment of reinforcement learning (RL) agents in the real world. In many real-world tasks, designing a reward function takes considerable hand engineering and often requires additional sensors to be installed just to measure whether the task has been executed successfully. Furthermore, many interesting tasks consist of multiple implicit intermediate steps that must be executed in sequence. Even when the final outcome can be measured, it does not necessarily provide feedback on these intermediate steps. To address these issues, we propose leveraging the abstraction power of intermediate visual representations learned by deep models to quickly infer perceptual reward functions from small numbers of demonstrations. We present a method that is able to identify key intermediate steps of a task from only a handful of demonstration sequences, and automatically identify the most discriminative features for identifying these steps. This method makes use of the features in a pre-trained deep model, but does not require any explicit specification of sub-goals. The resulting reward functions can then be used by an RL agent to learn to perform the task in real-world settings. To evaluate the learned reward, we present qualitative results on two real-world tasks and a quantitative evaluation against a human-designed reward function. We also show that our method can be used to learn a real-world door opening skill using a real robot, even when the demonstration used for reward learning is provided by a human using their own hand. To our knowledge, these are the first results showing that complex robotic manipulation skills can be learned directly and without supervised labels from a video of a human performing the task. Supplementary material and data are available at https://sermanet.github.io/rewards

연구 동기 및 목표

• 실세계 강화 학습에서 희박하고 수작업으로 설계된 보상 함수 문제를 해결하기 위해.
• 명시적인 보조 목표 레이블 없이도 최소한의 인간 시범으로부터 암시적 학습을 가능하게 하기 위해.
• 영상 시범에서 중간 단계의 보조 목표와 구분 가능한 시각적 특징을 자동으로 발견하기 위해.
• 실제 로봇의 정책 학습을 인간 시범에서 유도된 지각 기반 보상 함수만을 사용하여 가능하게 하기 위해.
• 사전 훈련된 시각 특징이 새로운 장면과 다른 로봇 구조에 대해 잘 일반화됨을 보여주기 위해.

제안 방법

• 시범 영상에서 중위 및 고위 시각 특징을 추출하기 위해 사전 훈련된 딥 네ural 네트워크(예: Inception)를 사용한다.
• 클러스터링 또는 세그멘테이션을 적용하여 시범 시퀀스 내 핵심 중간 단계를 식별한다.
• 각 중간 단계를 구분할 수 있도록 시각적 특징 위에 분류기 모델을 훈련시켜 모든 영상 간의 분류 성능을 최대화한다.
• 단계별 분류기를 하나의 부드럽고 밀도 높은 보상 함수로 통합한다.
• 결과로 도출된 지각 기반 보상 함수를 강화 학습 알고리즘(예: PI2)에 적용하여 실제 로봇을 훈련시킨다.
• 운동학적 시범, 상태 센서, 명시적 보조 목표 레이블이 필요하지 않다.

실험 결과

연구 질문

• RQ1 명시적인 보조 목표 레이블 없이도 소수의 인간 시범 영상에서 직접 지각 기반 보상 함수를 학습할 수 있는가?
• RQ2 사전 훈련된 시각 특징이 재훈련 없이도 새로운 장면에서 보조 목표와 목표를 잘 표현할 수 있는가?
• RQ3 발견된 중간 단계와 보상 함수가 실제 로봇이 문 열기와 같은 복잡한 조작 작업을 학습하는 데 기여하는가?
• RQ4 지속적인 센서로 확보한 진정한 보상 신호와 비교했을 때 비지도 지각 보상의 성능은 어떠한가?
• RQ5 객체 외관과 시범 스타일의 변화(예: 인간 vs. 로봇, 다른 종류의 문)에 대해 이 방법이 일반화 가능한가?

주요 결과

• 이 방법은 인간 시범 영상만으로도 지각 기반 보상 함수를 성공적으로 학습하여, 진정한 보상 신호나 운동학적 데이터 없이도 실제 로봇이 문을 여는 것을 가능하게 했다.
• 로봇의 성공률는 도어 핸들에 부착된 자이로스코프 센서로 확보한 진정한 보상 신호를 사용한 PI2 기반 베이스라인과 유사한 성능을 보였다.
• 훈련 중에 볼 수 없었던 다양한 문의 색상(화이트, 블랙, 파랑)과 방향성에 대해서도 보상 함수가 일반화되었다.
• 로봇의 구조가 시범자와 다를 경우에도 인간 시범에서 4~5개의 중간 보조 목표를 발견하였다.
• 학습된 보상 함수는 효과적인 정책 학습을 가능하게 했으며, 훈련 초반에 고보상 경로가 조기에 발견되어 강력한 신호 품질을 보였다.
• 이 방법은 소수의 시범만으로도 시각적 변형에 강건하고, 새로운 장면으로의 일반화가 가능함을 입증했다.