[논문 리뷰] The Unsurprising Effectiveness of Pre-Trained Vision Models for Control

Simone Parisi, Aravind Rajeswaran외 2명|arXiv (Cornell University)|2022. 03. 07.

Advanced Neural Network Applications인용 수 21

한 줄 요약

도메인 외 데이터로 학습된 고정된 사전 학습 비전 표현은 제어 정책 학습을 위한 실제 특징과 경쟁하거나 이를 능가할 수 있으며, 특히 자체 감독 학습(self-supervised learning)과 다층 특징 융합(multi-layer feature fusion)과 함께 그렇다.

ABSTRACT

Recent years have seen the emergence of pre-trained representations as a powerful abstraction for AI applications in computer vision, natural language, and speech. However, policy learning for control is still dominated by a tabula-rasa learning paradigm, with visuo-motor policies often trained from scratch using data from deployment environments. In this context, we revisit and study the role of pre-trained visual representations for control, and in particular representations trained on large-scale computer vision datasets. Through extensive empirical evaluation in diverse control domains (Habitat, DeepMind Control, Adroit, Franka Kitchen), we isolate and study the importance of different representation training methods, data augmentations, and feature hierarchies. Overall, we find that pre-trained visual representations can be competitive or even better than ground-truth state representations to train control policies. This is in spite of using only out-of-domain data from standard vision datasets, without any in-domain data from the deployment environments. Source code and more at https://sites.google.com/view/pvr-control.

연구 동기 및 목표

• 도메인 외(out-of-domain)로 고정된 사전 학습 시각 표현이 제어 정책의 지각 모듈로 작용할 수 있는지 평가한다.
• 표현 학습 방법(supervised vs. self-supervised)이 제어 성능에 미치는 영향을 규명한다.
• 다양한 제어 도메인에서 특징 위계와 증강이 정책 학습에 미치는 영향을 조사한다.
• 여러 층의 특징을 결합하는 것이 제어 과제를 위한 보편적이고 강력한 PVR을 생성하는지 탐구한다.

제안 방법

• 네 가지 도메인(Habitat, DeepMind Control, Adroit, Franka Kitchen)에서 제어 정책의 지각 모듈로 고정된 사전 학습 비전 모델을 사용한다.
• PVR을 상태 표현으로 사용하여 모방 학습(behavioral cloning)을 통해 제어 정책을 학습한다.
• 도메인 외 데이터(ImageNet, Places)로 사전 학습된 즉시 사용 가능한 PVR을 ground-truth 특징 및 무에서 시작하는 엔드투엔드 학습과 대조한다.
• 제어 성능에 대한 자체 감독 학습 vs 감독 학습 사전 학습의 영향을 평가한다.
• 데이터 증강의 역할(특히 잘라내기(crop) 대 색(color))과 계층별 표현(초기 대 후기 층)이 제어에 미치는 영향을 조사한다.
• crop 증강된 MoCo 모델의 여러 층을 결합한 전체 계층 구조 PVR을 제안하고 강건한 성능을 달성하는지 검증한다.

실험 결과

연구 질문

• RQ1 도메인 외 데이터로 완전히 사전 학습된 단일 비전 모델이 여러 제어 작업에 걸쳐 효과적으로 고정된 지각 모듈로 작동할 수 있는가?
• RQ2 정책 학습을 위해 동결된 상태에서 자체 감독 표현이 감독 학습 표현보다 더 나은 제어 특징을 제공하는가?
• RQ3 어떤 데이터 증강과 계층 구조(초기 대 후기 층)가 시각-운동 제어를 가장 잘 지원하는가?
• RQ4 여러 층의 특징을 결합하는 것이 다양한 도메인에서 ground-truth 상태 특징과 맞먹거나 능가하는 보편적 PVR을 생성하는가?

주요 결과

• 완전히 도메인 외 데이터로 학습된 고정된 PVR은 정책 학습에 있어 ground-truth 특징과 경쟁하거나 이를 능가할 수 있다.
• 자체 감독 학습(SSL) 기반 표현은 일반적으로 제어 과제에서 감독 학습보다 더 우수하다.
• SSL 제어 표현에서 crop 증강이 color 증강보다 더 중요하다; 색상 불변성은 덜 이롭다.
• 초기 합성곱 계층 특징은 미세 제어 과제에 적합하고, 후기 계층은 의미론적 과제에 적합하다; 전체 계층 특징은 여러 도메인에서 ground-truth 특징을 능가할 수 있다.
• 계층 3–5를 Crop 증강과 결합한 전체 계층 PVR은 모든 연구 도메인에서 강력하고 때로는 우수한 성능을 달성한다.