[논문 리뷰] Few-Shot Goal Inference for Visuomotor Learning and Planning

Annie Xie, Avi Singh외 2명|arXiv (Cornell University)|2018. 09. 30.

Robot Manipulation and Learning참고 문헌 50인용 수 16

한 줄 요약

이 논문은 메타학습된 분류기를 사용하여 성공적인 결과의 몇 가지 예시만으로도 로봇이 작업 목표를 학습할 수 있도록 하는 few-shot 목표 추론 프레임워크를 제안한다. 다양한 작업 간의 일반화를 위해 메타학습을 활용함으로써, 이 방법은 최소한의 인간 감독 하에 시각적 탐색, 로프 조작, 실제 세계의 물체 재배치 작업에서 높은 성능을 달성한다.

ABSTRACT

Reinforcement learning and planning methods require an objective or reward function that encodes the desired behavior. Yet, in practice, there is a wide range of scenarios where an objective is difficult to provide programmatically, such as tasks with visual observations involving unknown object positions or deformable objects. In these cases, prior methods use engineered problem-specific solutions, e.g., by instrumenting the environment with additional sensors to measure a proxy for the objective. Such solutions require a significant engineering effort on a per-task basis, and make it impractical for robots to continuously learn complex skills outside of laboratory settings. We aim to find a more general and scalable solution for specifying goals for robot learning in unconstrained environments. To that end, we formulate the few-shot objective learning problem, where the goal is to learn a task objective from only a few example images of successful end states for that task. We propose a simple solution to this problem: meta-learn a classifier that can recognize new goals from a few examples. We show how this approach can be used with both model-free reinforcement learning and visual model-based planning and show results in three domains: rope manipulation from images in simulation, visual navigation in a simulated 3D environment, and object arrangement into user-specified configurations on a real robot.

연구 동기 및 목표

• 보상 함수를 수동으로 설계하기 어려운 실제 로봇 공학 환경에서 작업 목표를 명시하는 도전 과제를 해결하기 위해.
• 인간의 few-shot 일반화를 모방하여, 성공적인 작업 결과의 몇 가지 예시만으로도 로봇이 목표를 추론할 수 있도록 하기 위해.
• 각 작업에 맞게 설계하거나 환경을 장비화하지 않는, 확장 가능한, 작업에 종속되지 않는 프레임워크를 개발하기 위해.
• 학습된 목표 분류기를 모델-프리 강화학습 및 시각 기반 모델 기반 계획에 통합하기 위해.
• 재학습 없이도 새로운 작업과 새로운 물체 구성에 일반화할 수 있도록 하기 위해.

제안 방법

• 성공 예시와 실패 예시를 사용하여 다양한 작업에서 메타학습된 분류기를 학습시켜 목표 관련 시각적 특징의 불변성을 학습한다.
• 메타학습된 분류기를 사용하여 새로운 작업에서 목표 상태의 몇 가지 예시만으로도 보상 함수를 추론한다.
• 분류기의 신뢰도 점수에서 보상 신호를 유도하여 강화학습 또는 계획 알고리즘을 안내한다.
• 분류기를 성공도 측정 기준으로 사용하여 모델-프리 RL(DQN, PPO 등)과 시각 기반 모델 기반 계획에 모두 프레임워크를 적용한다.
• 사전에 학습된 시각 백본에서 특징 표현을 활용하여 목표 비교를 위한 작업에 종속되지 않는 시각적 임베딩을 추출한다.
• 메타학습 중에 대조 학습 목표를 사용하여 분류기가 물체 간 상대 위치와 같은 작업에 관련된 요소에 집중하도록 유도한다.

실험 결과

연구 질문

• RQ1 단일 목표 분류기가 성공 예시의 몇 가지 예시만으로도 다양한 시각적 작업 간에 일반화할 수 있는가?
• RQ2 메타학습된 목표 분류기는 시각 기반 제어 작업에서 강화학습 및 계획에 얼마나 잘 기여하는가?
• RQ3 이 프레임워크는 특정 이미지를 기억하는 것이 아니라, 상대적 물체 위치와 같은 의미 있는 추상적 목표를 학습할 수 있는가?
• RQ4 실제 세계 및 시뮬레이션 환경에서, 이 방법은 히우리스틱 거리 측정법(예: 픽셀 거리 또는 오토에코더 거리)보다 얼마나 우수한가?
• RQ5 재학습 없이도 새로운 물체 구성과 예상치 못한 작업 조합에 일반화할 수 있는가?

주요 결과

• 제안된 FLO(Few-Shot Goal Learning) 방법은 로프 조작 작업에서 중앙값 거리 0.27(IQR: 0.18–0.34)를 달성하여 픽셀 거리(0.54)와 오토에코더 거리(0.59)보다 유의미하게 뛰어난 성능을 보였다.
• DQN를 사용한 시각적 탐색에서 FLO는 목표 물체에 도달하는 데 77.8%의 성공률을 기록했으며, 픽셀 거리(33.0%)와 오토에코더 거리(44.0%)보다 뛰어났다.
• 이 방법은 메타학습 기간 동안 볼 수 없었던 새로운 물체를 사용한 실세계에서의 조작을 성공적으로 수행했으며, 메타학습 기간 동안 볼 수 없었던 새로운 구성으로도 일반화했다.
• 메타학습된 분류기는 정확한 목표 이미지가 일치하지 않더라도 상대적 물체 위치나 유연한 물체의 형태와 같은 추상적 목표로 일반화했다.
• 이 프레임워크는 시뮬레이션 기반 로프 조작, 3D 시각적 탐색, 실세계 물체 정렬의 세 영역 모두에서 효과적인 정책 학습을 가능하게 했다.
• 분류기가 정확하지 않은 경우에도 강화학습은 보상 신호를 활용하여 성공을 거두었으며, 이는 목표 학습의 불완전함에 대비한 강건성을 보여주었다.