[논문 리뷰] Mid-Level Visual Representations Improve Generalization and Sample Efficiency for Learning Visuomotor Policies

Alexander F. Sax, Bradley Emi외 4명|arXiv (Cornell University)|2018. 12. 31.

Visual perception and processing mechanisms참고 문헌 82인용 수 49

한 줄 요약

논문은 중간 수준 비전 특징 집합을 고정(freeze)하여 RL로 학습된 시각운동 정책의 샘플 효율성과 일반화를 향상시키며, 맥스 커버리지(max-coverage) 특징 선택기를 제시하여 작고 태스크 포함적인 특징 집합을 얻는다.

ABSTRACT

How much does having visual priors about the world (e.g. the fact that the world is 3D) assist in learning to perform downstream motor tasks (e.g. delivering a package)? We study this question by integrating a generic perceptual skill set (e.g. a distance estimator, an edge detector, etc.) within a reinforcement learning framework--see Figure 1. This skill set (hereafter mid-level perception) provides the policy with a more processed state of the world compared to raw images. We find that using a mid-level perception confers significant advantages over training end-to-end from scratch (i.e. not leveraging priors) in navigation-oriented tasks. Agents are able to generalize to situations where the from-scratch approach fails and training becomes significantly more sample efficient. However, we show that realizing these gains requires careful selection of the mid-level perceptual skills. Therefore, we refine our findings into an efficient max-coverage feature set that can be adopted in lieu of raw images. We perform our study in completely separate buildings for training and testing and compare against visually blind baseline policies and state-of-the-art feature learning methods.

연구 동기 및 목표

• 중간 수준 시각 특징이 RL 기반 시각운동 태스크의 샘플 효율성을 개선하는지 평가한다.
• 특징 기반 정책의 일반화를 미지의 환경으로 확장한다.
• 고정된 단일 특징으로 여러 작업을 수행할 수 있는지, 아니면 다양한 특징 세트가 필요한지 결정한다.

제안 방법

• 사전 학습된 중간 수준 비전 인코더를 동결하고 재사용하여 원시 관측값을 RL 정책 입력으로 변환한다.
• 오프폴리시 보정이 포함된 PPO를 사용하여 특징 보강 관측값에서 정책을 훈련한다.
• Gibson 환경의 20개의 중간 수준 특징을 탐색(navigation), 탐험(exploration), 계획(planning) 태스크에 대해 평가하고 학습/테스트를 서로 다른 건물에서 분리하여 수행한다.
• 무작위 베이스라인 대비 상대 보상을 통해 난이도 차이를 보정하여 성능을 정량화한다.
• 최대 커버리지 특징 선택기를 제안하여 가장 악한 전이 거리( worst-case transfer distance )를 최소화하는 compact한 특징 부분집합을 선택한다.

실험 결과

연구 질문

• RQ1 중간 수준 비전 특징이 학습 속도(샘플 효율성)를 처음부터 학습하는 것보다 빨리 하는가?
• RQ2 중간 수준 특징이 미지의 환경에 대한 일반화를 향상시키는가?
• RQ3 하나의 고정된 특징이 모든 다운스트림 시각운동 작업에 충분한가, 아니면 다양한 특징 세트가 필요한가?
• RQ4 Compact한 특징 부분집합이 데이터 및 계산을 줄이면서 성능을 유지할 수 있는가?

주요 결과

• 중간 수준 특징은 테스트된 태스크에서 scratch 정책보다 더 빠르게 학습한다.
• 일부 특징 기반 에이전트는 미지의 테스트 환경에서 Scratch로 학습된 정책보다 더 높은 최종 성능을 달성한다.
• 순위 반전(ranking reversal)은 보편적인 하나의 특징이 없음을 시사한다; 최적의 특징은 다운스트림 태스크에 따라 다르다(탐색에는 의미론적 특징, 탐험에는 기하학적 특징이 더 유리).
• 최대 커버리지 특징 선택기는 태스크별 최적 특징에 근접하거나 이를 능가하는 컴팩트한 특징 세트를 데이터가 훨씬 적은 양으로도 생성할 수 있다.
• 특징 세트가 여러 건물과 두 번째 시뮬레이터(VizDoom)에서도 일반화되며, 다양한 설정에서 이 접근 방식의 일반성을 뒷받침한다.