[논문 리뷰] Self-Supervised Exploration via Disagreement

Deepak Pathak, Dhiraj Gandhi외 1명|arXiv (Cornell University)|2019. 06. 10.

Reinforcement Learning in Robotics참고 문헌 40인용 수 17

한 줄 요약

이 논문은 외부 보상 없이 효율적이고 샘플 효율적인 탐색을 가능하게 하기 위해 다수의 전방 동역학 모델 간의 불일치를 최대화하는 자기지도 탐색 방법을 제안한다. 탐색을 미분 가능한 최적화 문제로 공식화함으로써 직접 우도 최대화를 통한 정책 학습이 가능해지며, 이는 확률적인 환경에서 강건한 성능을 보이며 1,000회 이내의 상호작용으로 실제 로봇을 이용한 물체 상호작용을 처음부터 성취할 수 있게 한다.

ABSTRACT

Efficient exploration is a long-standing problem in sensorimotor learning. Major advances have been demonstrated in noise-free, non-stochastic domains such as video games and simulation. However, most of these formulations either get stuck in environments with stochastic dynamics or are too inefficient to be scalable to real robotics setups. In this paper, we propose a formulation for exploration inspired by the work in active learning literature. Specifically, we train an ensemble of dynamics models and incentivize the agent to explore such that the disagreement of those ensembles is maximized. This allows the agent to learn skills by exploring in a self-supervised manner without any external reward. Notably, we further leverage the disagreement objective to optimize the agent's policy in a differentiable manner, without using reinforcement learning, which results in a sample-efficient exploration. We demonstrate the efficacy of this formulation across a variety of benchmark environments including stochastic-Atari, Mujoco and Unity. Finally, we implement our differentiable exploration on a real robot which learns to interact with objects completely from scratch. Project videos and code are at https://pathak22.github.io/exploration-by-disagreement/

연구 동기 및 목표

• 기존의 내재 보상 방법이 실패하거나 샘플 효율성이 떨어지는 확률적인 환경에서 효율적 탐색의 과제를 해결하기 위해.
• 외부 보상이나 고분산 강화학습 추정기기에 의존하지 않는 자기지도 탐색 프레임워크를 개발하기 위해.
• 탐색 목표를 미분 가능한 함수로 공식화하여 정책 학습의 샘플 효율성을 향상시키기 위해.
• 7-DOF 로봇에서 실제 세계에서의 탐색 정책을 구현하여 물체 상호작용을 처음부터 가능하게 하기 위해.

제안 방법

• 현재 상태와 행동 입력으로부터 다음 상태 전이를 예측하는 다수의 전방 동역학 모델을 훈련한다.
• 주어진 상태-행동 쌍에 대해 집단의 예측 간 분산(불일치)을 내재 보상으로 계산한다.
• 불일치 목표를 직접 우도 최대화를 통해 정책을 최적화하는 데 사용 가능한 미분 가능한 신호로 활용하여 REINFORCE 방식의 정책 기반 강화학습 방법을 피한다.
• 관측치와 행동의 확률적 성향에 대해 강건성을 향상시키기 위해 공통 인코더를 사용해 상태를 특징 공간으로 인코딩한다.
• 집단이 확률적 동역학 하에서 평균으로 수렴함에 따라 불일치가 자연스럽게 감소함으로써 노이즈가 많은 환경에 갇히는 것을 방지한다.
• RGB-D 관측치와 실시간 상호작용 피드백을 사용하여 실시간 로봇 조작 과제에 대해 미분 가능한 정책 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 집단 동역학 모델 간의 불일치가 확률적 환경에서 효과적인 자기지도 내재 보상으로 기능할 수 있는가?
• RQ2 모델 불일치 기반의 미분 가능한 정책 최적화가 예측 오차 보상 기반 강화학습보다 더 높은 샘플 효율성을 달성하는가?
• RQ3 이 방법이 외부 보상 형상 조정 없이도 실제 로봇이 처음부터 물체 상호작용 기술을 학습할 수 있도록 할 수 있는가?
• RQ4 확률적 동역학에 대한 강건성과 미지의 물체로의 일반화 측면에서 불일치 기반 목표는 궁금증 기반 방법보다 어떻게 비교되는가?

주요 결과

• 미분 가능한 불일치 기반 탐색 정책은 실제 세계 설정에서 1,000회 이내의 로봇 상호작용으로 물체 상호작용을 달성하였으며, 무작위 탐색(17%)과 REINFORCE 기반 궁금증(1%)보다 뚜렷이 뛰어난 성능을 보였다.
• 검증용 10종의 새로운 물체 세트에서, 불일치 기반 정책는 약 67%의 행동에서 물체와 상호작용하였으며, 강력한 일반화 능력과 스킬 전이 능력을 입증하였다.
• 집단의 불일치가 확률적 동역학 하에서 평균으로 수렴함에 따라 자연스럽게 감소하므로, 이 방법은 확률적 환경에서 갇히는 것을 성공적으로 방지하였다.
• 우도 최대화를 통한 미분 가능한 정책 최적화는 고분산 정책 기반 강화학습 방법(예: REINFORCE)보다 더 빠르고 안정적인 학습을 이끌었다.
• 이 방법은 실제 세계의 로봇 조작 과제로의 확장성도 입증하였으며, 다양한 물체를 포함한 실제 환경에서 7-DOF 로봇 암의 상호작용을 가능하게 하였다.
• 특히 행동 실행의 확률적 특성이나 관측 노이즈가 있는 환경에서 궁금증 기반 탐색보다 샘플 효율성과 강건성 면에서 뛰어난 성능을 보였다.