[논문 리뷰] Learning what you can do before doing anything

Oleh Rybkin, Karl Pertsch외 3명|arXiv (Cornell University)|2018. 06. 25.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 행동을 구성할 수 있고 최소한의 잠재 표현을 갖는 행동 공간을 학습하기 위해 무라벨 영상 관측만을 사용하는 CLASP라는 방법을 제안한다. 이 방법은 확률적 영상 예측 모델을 통해 행동의 최소이고 조합 가능한 잠재 표현을 학습한다. 이 접근법은 데이터 효율성을 확보하여 행동 레이블 수가 수십만 분의 일 수준일지라도 지도 학습 방법과 유사한 성능을 달성하며, 학습된 잠재 행동 공간에서 계획 수립과 제어를 가능하게 한다.

ABSTRACT

Intelligent agents can learn to represent the action spaces of other agents simply by observing them act. Such representations help agents quickly learn to predict the effects of their own actions on the environment and to plan complex action sequences. In this work, we address the problem of learning an agent's action space purely from visual observation. We use stochastic video prediction to learn a latent variable that captures the scene's dynamics while being minimally sensitive to the scene's static content. We introduce a loss term that encourages the network to capture the composability of visual sequences and show that it leads to representations that disentangle the structure of actions. We call the full model with composable action representations Composable Learned Action Space Predictor (CLASP). We show the applicability of our method to synthetic settings and its potential to capture action spaces in complex, realistic visual settings. When used in a semi-supervised setting, our learned representations perform comparably to existing fully supervised methods on tasks such as action-conditioned video prediction and planning in the learned action space, while requiring orders of magnitude fewer action labels. Project website: https://daniilidis-group.github.io/learned_action_spaces

연구 동기 및 목표

• 모터 명령이나 행동 레이블에 접근할 수 없이 순수하게 시각적이고 무라벨 영상 데이터로부터 에이전트의 행동 공간을 학습하는 것.
• 정적 환경 상태와 시각적 외관에서 행동의 구조를 분리하는 표현을 개발하는 것.
• 작은 수의 레이블된 행동 시퀀스만을 사용하여도 효과적인 행동 조건 영상 예측 및 계획 수립 등의 후행 작업을 가능하게 하는 것.
• 행동 표현 학습을 위한 완전한 지도 학습 방법에 대한 데이터 효율적인 대안을 만드는 것.
• 확률적 영상 예측 프레임워크 내에서 행동의 조합 가능성과 최소성 특성을 모델링하는 것.

제안 방법

• 정적 세계 상태에 대한 정보를 최소화하면서도 장면의 동적 변화를 포착하는 잠재 변수를 가진 확률적 영상 예측 모델을 훈련한다.
• 잠재 표현이 행동의 조합을 지원하도록 하는 조합 가능성 손실(composability loss)을 도입한다 (예: z1과 z2는 g(z1, z2)와 동일한 효과를 가져야 한다).
• 현재 장면 상태에 대한 최소한의 정보를 포함하도록 잠재 공간을 제약하여 최소성(minimality)을 확보한다.
• 행동 시퀀스 조건 하에 미래 프레임을 예측하기 위해 학습된 잠재 표현을 사용하여 잠재 행동 공간에서의 계획 수립을 가능하게 한다.
• 간단한 선형 분류기를 사용하여 잠재 공간에서 행동 레이블을 복원하여 행동 구조의 분리가 올바르게 이루어졌는지 검증한다.
• 무라벨 영상에서의 사전 훈련을 통해 레이블된 행동 시퀀스가 적은 반도체 학습 환경에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 모델은 모터 명령이나 행동 레이블에 접근할 수 없이 무라벨 영상만으로도 에이전트 행동 공간의 구조를 학습할 수 있는가?
• RQ2 잠재 공간에서의 조합 가능성과 최소성 제약이 분리된 의미 있는 행동 표현을 이끌어내는가?
• RQ3 학습된 잠재 행동 공간은 최소한의 레이블 데이터로 효과적인 계획 수립과 행동 조건 영상 예측을 가능하게 하는가?
• RQ4 배경이나 물체 외관의 변화와 같은 시각적 변형에 대해 학습된 표현은 얼마나 강건한가?
• RQ5 행동 공간이 호환되는 한, 다양한 시각 조건이나 다른 에이전트로의 일반화가 가능한가?

주요 결과

• CLASP는 100개의 행동 레이블 영상만으로도 행동 조건 영상 예측 및 계획 작업에서 완전한 지도 학습 방법과 유사한 성능을 달성하며, 지도 학습 기반 기준 대비 수십만 분의 일 수준의 레이블 수를 사용한다.
• 모델은 시각적 변형에 대해 잘 일반화된다: 무작위 CIFAR-10 배경이나 수정된 리처 암 길이를 가진 시퀀스에서 테스트했을 때도 정확한 행동 공간 발견 및 시각적 서보 제어 성능을 유지한다.
• 낮은 데이터 환경(100~1000개의 레이블 영상)에서 CLASP는 무라벨 데이터에서의 효과적인 사전 훈련 덕분에 지도 학습 기반 기준을 크게 앞서간다.
• 학습된 잠재 공간은 시각적 외관에 영향을 받지 않는 행동 의미를 포착하고 있으며, 다양한 시각 조건에서 일관된 행동 복원이 이루어짐을 보여준다.
• 시각적 서보 제어 실험을 통해 모델은 최소한의 레이블 데이터로도 실시간으로 경로를 재계획할 수 있으며, 목표 지점까지의 최종 거리가 매우 작아진다.
• 조합 가능성 손실은 행동의 분리된 표현을 학습하도록 효과적으로 유도하여, 잠재 공간에서 진짜 행동을 정확하게 복원할 수 있음을 보여준다.