[논문 리뷰] Following Instructions by Imagining and Reaching Visual Goals

John Kanu, Eadom Dessalene외 3명|arXiv (Cornell University)|2020. 01. 25.

Visual Attention and Saliency Detection참고 문헌 23인용 수 5

한 줄 요약

이 논문은 원시 픽셀 입력에서 순차적으로 상상하고 도달하는 시각적 목표를 통해 자연어 지시를 따를 수 있도록 하는 계층적 강화학습 프레임워크인 지시 따르기 위한 상상된 목표(Instruction-Following with Imagined Goals, IFIG)를 제안한다. 사전 언어적 또는 인지 지식 없이도 IFIG는 구조적인 잠재 표현을 학습하고 내재적 동기를 활용해 지시 조건 시각적 목표를 생성하여 시뮬레이션 내 물체 정렬 작업에서 참조 상태 감독을 받는 모델들을 능가한다.

ABSTRACT

While traditional methods for instruction-following typically assume prior linguistic and perceptual knowledge, many recent works in reinforcement learning (RL) have proposed learning policies end-to-end, typically by training neural networks to map joint representations of observations and instructions directly to actions. In this work, we present a novel framework for learning to perform temporally extended tasks using spatial reasoning in the RL framework, by sequentially imagining visual goals and choosing appropriate actions to fulfill imagined goals. Our framework operates on raw pixel images, assumes no prior linguistic or perceptual knowledge, and learns via intrinsic motivation and a single extrinsic reward signal measuring task completion. We validate our method in two environments with a robot arm in a simulated interactive 3D environment. Our method outperforms two flat architectures with raw-pixel and ground-truth states, and a hierarchical architecture with ground-truth states on object arrangement tasks.

연구 동기 및 목표

• 사전 언어적 또는 인지 지식에 의존도를 최소화하는 물리적 환경에서 지시 따르기 프레임워크를 개발하는 것.
• 공간적 추론을 활용해 시각적 환경에서 장기적이고 시간적으로 연속된 언어 지시를 기반으로 하는 문제를 해결하는 것.
• 자기 지도 시각적 목표 상상과 목표 도달 정책을 통해 복잡한 조작 작업을 학습할 수 있도록 하는 것.
• 시각 기반 강화학습에서 시각적 기반과 기술 습득을 분리함으로써 샘플 효율성과 일반화 능력을 향상시키는 것.

제안 방법

• 프레임워크는 원시 픽셀 이미지의 구조적인 잠재 표현을 학습하기 위해 변동형 오토인코더(Variational Autoencoder, VAE)를 사용하여 자기 지도 상태 표현 학습을 가능하게 한다.
• 목표 생성 모듈은 잠재 상태를 변환하여 지시 조건 시각적 목표 상태를 생성함으로써 작업 중심의 공간적 추론을 가능하게 한다.
• 목표 도달 정책은 잠재 공간에서 목표 조건 강화학습 목표를 사용하여 임의의 상태 간 이동을 학습한다.
• 시스템은 태스크 완료를 위한 유일한 외재적 보상 신호 외에 탐색과 목표 상상을 장려하기 위해 내재적 동기를 사용한다.
• 아키텍처는 메타 컨트롤러가 목표를 내릴 수 있는 계층적 강화학습을 사용하며, 컨트롤러는 모두 잠재 표현에서 작동한다.
• 학습은 SAC(Soft Actor-Critic)를 통해 엔드 투 엔드로 이루어지며, 잠재 공간 차원은 6으로 설정되어 6차원 상태 요소(종단 기구 및 물체 위치)를 포괄한다.

실험 결과

연구 질문

• RQ1 원시 픽셀에서 상상한 시각적 목표를 통해 사전 언어적 또는 인지 지식 없이도 에이전트가 자연어 지시를 따를 수 있는가?
• RQ2 시각 기반 강화학습에서 복잡하고 시간적으로 연속된 작업을 분해하는 메커니즘으로서의 시각적 목표 상상은 얼마나 효과적인가?
• RQ3 잠재 공간에서 시각적 목표를 생성하고 도달하는 것이 참조 상태 감독이 있는 평탄한 정책 또는 계층 모델보다 성능 향상에 기여하는가?
• RQ4 자기 지도 잠재 표현이 물체 조작 작업에 있어 의미 있는 보조 목표 모odalities로 기능할 수 있는 정도는 어느 정도인가?

주요 결과

• 단일 물체 환경에서 IFIG는 파rameter 수가 97%에 불과한 픽셀 기반 평탄한 정책보다 성공률이 2.47배 높았다.
• 다중 물체 환경에서 IFIG는 픽셀 기반 평탄한 기반선보다 성공률이 3.41배 높아, 훨씬 뛰어난 일반화 능력과 샘플 효율성을 입증했다.
• 단일 물체 설정에서 IFIG는 참조 상태가 있는 평탄한 기반선보다 성공률이 2.50배 높아, 상상한 시각적 목표가 참조 상태 접근보다 더 효과적일 수 있음을 시사했다.
• 다중 물체 설정에서 IFIG는 참조 상태 기반 계층 모델보다 성공률이 1.65배 높았으며, 이는 잠재 시각적 구조가 강력한 보조 목표 모달리티임을 보여주었다.
• 상상한 목표 시퀀스의 시각화 결과, 에이전트가 지시를 논리적 보조 목표 배열로 정확히 분해한 것으로 나타났다. 예를 들어, 물체 간 상대적 위치 이동을 수행했다.
• IFIG의 컨트롤러는 참조 상태 기반 계층 컨트롤러의 최종 오차 성능의 90%를 달성하여, 참조 상태 접근이 없음에도 불구하고 뛀난 저수준 기술 습득 능력을 보였다.