[논문 리뷰] Visual Reinforcement Learning with Imagined Goals

Ashvin Nair, Vitchyr H. Pong외 4명|arXiv (Cornell University)|2018. 07. 12.

Reinforcement Learning in Robotics참고 문헌 30인용 수 181

한 줄 요약

본 논문은 RIG를 제시한다. 이는 오프폴리시 RL과 비지도 잠재 표현, 상상된 목표, 그리고 소급적 목표 재라벨링을 결합하여 원시 이미지로부터 목표 조건 정책을 학습하고 사용자가 지정한 이미지 목표를 달성하는 프레임워크다.

ABSTRACT

For an autonomous agent to fulfill a wide range of user-specified goals at test time, it must be able to learn broadly applicable and general-purpose skill repertoires. Furthermore, to provide the requisite level of generality, these skills must handle raw sensory input such as images. In this paper, we propose an algorithm that acquires such general-purpose skills by combining unsupervised representation learning and reinforcement learning of goal-conditioned policies. Since the particular goals that might be required at test-time are not known in advance, the agent performs a self-supervised "practice" phase where it imagines goals and attempts to achieve them. We learn a visual representation with three distinct purposes: sampling goals for self-supervised practice, providing a structured transformation of raw sensory inputs, and computing a reward signal for goal reaching. We also propose a retroactive goal relabeling scheme to further improve the sample-efficiency of our method. Our off-policy algorithm is efficient enough to learn policies that operate on raw image observations and goals for a real-world robotic system, and substantially outperforms prior techniques.

연구 동기 및 목표

• 그라운드 트루스 보상이나 상태가 주어지지 않은 원시 이미지 관측에서 작동하는 범용적 목표-조건 RL 프레임워크를 개발한다.
• 목표 샘플링, 상태 인코딩 및 보상 설계를 용이하게 하는 구조화된 잠재 표현을 학습한다.
• 훈련 중 샘플 효율성을 향상시키기 위해 자기지도식 목표 상상 및 재라벨링을 가능하게 한다.
• 가변 개체 수와 실제 로봇 조작 작업에 대한 확장 가능성을 시연한다.

제안 방법

• 관찰 및 목표의 잠재 표현을 학습하기 위해 베타-VAE를 훈련한다.
• 상태와 목표를 잠재 공간에 임베딩하고 잠재 공간 정책 pi(z, z_g)로 Q(z, a, z_g)라는 목표-조건 Q-함수를 학습한다.
• 잠재 거리 r = -||z - z_g||를 형성된 보상으로 사용하여 실제 상태 보상 없이 비전 기반 제어를 가능하게 한다.
• VAE 사전분포에서 목표를 샘플링하여 자기지도 훈련을 촉진하고 경험을 재라벨링하는(잠재 목표 재라벨링) 방식으로 데이터 효율성을 향상시킨다.
• 오프-정책 TD3 스타일 학습을 적용하고, 더 나은 표현 정렬을 위해 훈련 중 VAE를 선택적으로 미세 조정한다.
• 사전 샘플링된 목표와 미래 상태 재라벨링의 혼합을 활용하여 데이터 효율성을 극대화한다.

실험 결과

연구 질문

• RQ1 그라운드 트루스 상태나 보상 신호 없이도 이미지만으로 비전 기반 목표-조건 정책을 직접 학습할 수 있는가?
• RQ2 잠재 표현이 비전 기반 RL에서 목표 샘플링, 보상 설계 및 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 이 접근법이 가변 개체 수를 가진 작업에 스케일링 가능하며 실제 세계 로봇 조작으로의 전이가 가능한가?
• RQ4 다른 목표 재라벨링 전략이 학습 효율성에 미치는 영향은 무엇인가?

주요 결과

• RIG는 시뮬레이션 이미지 기반 과제에서 기존의 비전 기반 목표-조건 RL 방법들보다 현저히 우수하다.
• 잠재 공간 보상(잠재 공간의 거리)은 학습에 대해 픽셀 MSE나 마할라노비스 거리보다 더 잘 형성된 신호를 제공한다.
• 잠재-목표 샘플과 미래 상태 전략의 혼합으로 재라벨링하는 것이 최고 수준의 샘플 효율성을 보인다.
• 입력 표현을 바꾸지 않고도 가변 개체 시나리오를 처리한다.
• RIG는 적은 양의 데이터로 실세계 Sawyer 로봇을 이용한 시각적 도달 및 밀기 작업에서 경쟁력 있는 성능을 달성한다.