[논문 리뷰] Contextual Imagined Goals for Self-Supervised Robotic Learning

Ashvin Nair, Shikhar Bahl외 4명|arXiv (Cornell University)|2019. 10. 23.

Reinforcement Learning in Robotics참고 문헌 40인용 수 15

한 줄 요약

이 논문은 원시 시각 관측에서 맥락 인식 가능하고 실행 가능한 목표를 자율적으로 생성할 수 있도록 하는 자기지도 강화학습 방법인 Contextual Imagined Goals (CC-RIG)를 제안한다. 맥락 조건부 VAE를 사용하여 정적 환경 맥락과 제어 가능한 물체 상태를 분리함으로써, 샘플 효율적이고 오프-폴리시(off-policy) 학습을 통해 실제 환경에서 시각적 다양성이 있는 새로운 물체로 일반화되는 조작 기술을 학습할 수 있다.

ABSTRACT

While reinforcement learning provides an appealing formalism for learning individual skills, a general-purpose robotic system must be able to master an extensive repertoire of behaviors. Instead of learning a large collection of skills individually, can we instead enable a robot to propose and practice its own behaviors automatically, learning about the affordances and behaviors that it can perform in its environment, such that it can then repurpose this knowledge once a new task is commanded by the user? In this paper, we study this question in the context of self-supervised goal-conditioned reinforcement learning. A central challenge in this learning regime is the problem of goal setting: in order to practice useful skills, the robot must be able to autonomously set goals that are feasible but diverse. When the robot's environment and available objects vary, as they do in most open-world settings, the robot must propose to itself only those goals that it can accomplish in its present setting with the objects that are at hand. Previous work only studies self-supervised goal-conditioned RL in a single-environment setting, where goal proposals come from the robot's past experience or a generative model are sufficient. In more diverse settings, this frequently leads to impossible goals and, as we show experimentally, prevents effective learning. We propose a conditional goal-setting model that aims to propose goals that are feasible from the robot's current state. We demonstrate that this enables self-supervised goal-conditioned off-policy learning with raw image observations in the real world, enabling a robot to manipulate a variety of objects and generalize to new objects that were not seen during training.

연구 동기 및 목표

• 인간이 설계한 보상 함수나 물체 검출기 없이도, 시각적으로 다양한 개방형 환경에서 로봇이 자율적으로 실행 가능한 기술을 탐색하고 연습할 수 있도록 하는 것.
• 자기지도 강화학습에서 목표 설정 문제를 해결하는 것. 이전 방법들은 역동적이거나 다양한 환경에서 실행 불가능한 목표를 제안하여 실패한다.
• 훈련 중에 볼 수 없었던 새로운 물체로 일반화 가능한 정책을 원시 이미지 관측에서 학습하는 것.
• 현재 환경 맥락에 따라 목표 생성을 조건화하여 실제 로봇 조작에서 샘플 효율성과 강건성을 향상시키는 것.

제안 방법

• 맥락 조건부 VAE(C-C-VAE)를 학습하여, 잠재 변수 $ z_t $ 에 정보 블로킹을 적용함으로써 정적 환경 맥락(예: 물체 식별, 조명)과 제어 가능한 상태(예: 물체 위치)를 분리한다.
• 모델은 초기 상태 $ s_0 $ 를 맥락 $ z_c $ 로 인코딩하고, 궤적 동역학을 $ z_t $ 로 표현하여 정책 입력을 위한 공동 표현 $ \bar{z}_t = (z_t, z_c) $ 를 형성한다.
• 목표는 $ z_c $ 를 조건으로 하여 $ z_t $ 를 재샘플링함으로써 생성되며, 이는 현재 환경 맥락 내에서 실행 가능한 목표가 되도록 보장한다.
• 오프-폴리시 강화학습을 통해 목표 조건부 정책을 학습하여, 에이전트의 최종 상태와 생성된 목표 사이의 잠재 거리가 $ \bar{z}_t $ 공간에서 최소화되도록 한다.
• 밀도 없는 지도 없이도 원시 이미지 관측에서 학습할 수 있도록 잠재 거리 메트릭(잠재 거리)을 보상 신호로 사용한다.
• 시스템은 20개의 훈련용 물체를 사용한 실제 푸시어 환경에서 평가되었으며, 테스트는 새로운, 볼 수 없었던 물체에서 수행되었다.

실험 결과

연구 질문

• RQ1 로봇은 물체나 작업에 대한 사전 지식 없이도, 시각적으로 복잡한 실제 환경에서 실행 가능하고 다양한 목표를 자율적으로 생성할 수 있는가?
• RQ2 맥락 조건부 목표 생성은 자기지도 로봇 학습에서 샘플 효율성과 일반화 능력을 어떻게 향상시키는가?
• RQ3 다양한 물체로 훈련된 모델이 훈련 중에 볼 수 없었던 새로운 물체로 일반화할 수 있는가? 이는 오직 시각 관측과 자기지도 목표 설정을 통해 가능한가?
• RQ4 환경 맥락과 제어 가능한 동역학을 분리하는 것은 시각 기반 강화학습에서 더 강건하고 일반화 가능한 정책 학습을 이끌어내는가?

주요 결과

• CC-RIG는 모든 평가 지표에서 표준 RIG(Random Imagined Goals)를 능가하며, 새로운 물체에서 CVAE 거리 1.51 ± 0.71을 달성한 반면, RIG는 2.37 ± 0.97을 기록했다.
• 새로운 물체에서 CC-RIG는 중앙값 물체 위치 거리 11.5 ± 2.9 cm를 기록했으며, RIG의 17.1 ± 8.2 cm보다 유의미하게 우수했다.
• 훈련 분포 외의 새로운 물체로도 효과적으로 일반화되어, 시각적 및 물체 수준의 변동성에 강건함을 입증했다.
• CC-RIG는 RIG 대비 평균적으로 목표 향한 픽셀 수준 거리를 40.8% 감소시켜, 목표 향한 시각적 정확도 향상을 나타냈다.
• 맥락 조건부 목표 생성을 통해 기존 비맥락 기반 접근 방식에서 흔히 발생하는 실행 불가능한 목표 제안 문제를 방지했다.
• 시스템은 오직 원시 이미지 관측과 자기지도 학습만을 사용하여 실제 환경에서 다양한 물체, 특히 색상과 질감이 다른 새로운 푸시어를 성공적으로 밀 수 있도록 학습했다.