[논문 리뷰] Mid-Level Visual Representations Improve Generalization and Sample Efficiency for Learning Active Tasks.

Alexander F. Sax, Bradley Emi외 4명|arXiv (Cornell University)|2018. 12. 31.

Reinforcement Learning in Robotics인용 수 15

한 줄 요약

이 논문은 활동적 로봇 작업을 위한 딥 강화학습에서 샘플 효율성과 일반화 능력을 향상시키기 위해 중위수 시각 표현(예: 장면 분석, 객체 탐지)을 인식 모듈로 사용할 것을 제안한다. 이러한 중위수 특징을 통합함으로써, 특히 미리 보지 못한 환경에서부터의 훈련보다 빠르게 학습하고 더 잘 일반화하는 에이전트를 만들 수 있으며, 이는 각 작업에 적절한 특징를 철저히 선별할 경우에만 가능하다.

ABSTRACT

One of the ultimate promises of computer is to help robotic agents perform active tasks, like delivering packages or doing household chores. However, the conventional approach to solving vision is to define a set of offline recognition problems (e.g. object detection) and solve those first. This approach faces a challenge from the recent rise of Deep Reinforcement Learning frameworks that learn active tasks from scratch using images as input. This poses a set of fundamental questions: what is the role of computer if everything can be learned from scratch? Could intermediate tasks actually be useful for performing arbitrary downstream active tasks? We show that proper use of mid-level perception confers significant advantages over training from scratch. We implement a perception module as a set of mid-level visual representations and demonstrate that learning active tasks with mid-level features is significantly more sample-efficient than scratch and able to generalize in situations where the from-scratch approach fails. However, we show that realizing these gains requires careful selection of the particular mid-level features for each downstream task. Finally, we put forth a simple and efficient perception module based on the results of our study, which can be adopted as a rather generic perception module for active frameworks.

연구 동기 및 목표

• 활동적 로봇 작업을 위한 강화학습에서 중위수 시각 표현이 샘플 효율성과 일반화 능력을 향상시킬 수 있는지 조사하는 것.
• 에이전트가 픽셀에서 직접 학습할 수 있을 때, 중간 단계의 인식 모듈이 유익한가라는 근본적인 질문을 다루는 것.
• 특정 후행 활동적 작업에 가장 효과적인 중위수 특징를 식별하는 것.
• 실험적 발견을 바탕으로 단순하고 효율적이며 일반적인 인식 모듈을 개발하여 활동적 시각 프레임워크에 활용하는 것.

제안 방법

• 원시 이미지에서 의미 분할, 객체 탐지, 장면 분석 등의 중위수 시각 표현을 추출하는 인식 모듈을 설계하는 것.
• 원시 픽셀 대신 이러한 중위수 특징을 딥 강화학습 에이전트의 입력으로 통합하는 것.
• 예를 들어 탐색, 물체 조작 등의 다양한 활동적 작업에서 중위수 특징를 관측치로 사용하여 에이전트를 훈련시키는 것.
• 원시 픽셀에서부터 훈련된 베이스라인 에이전트와 성능을 비교하여 환경 간 샘플 효율성과 일반화 능력을 측정하는 것.
• 다양한 중위수 특징 조합을 체계적으로 평가하여 각 작업에 가장 효과적인 조합을 특정하는 것.
• 실험에서 특정된 가장 효과적인 특징들을 바탕으로 경량이고 일반적인 인식 모듈을 제안하는 것.

실험 결과

연구 질문

• RQ1 딥 강화학습을 통한 활동적 작업 학습에서 중위수 시각 표현이 샘플 효율성을 향상시킬 수 있는가?
• RQ2 원시 픽셀에서 훈련하는 것과 비교해 중위수 특징을 사용할 경우, 미리 보지 못한 환경으로의 일반화 능력이 향상되는가?
• RQ3 특정 후행 활동적 작업에 가장 유익한 중위수 특징는 무엇인가?
• RQ4 중위수 특징에서 얻는 성능 향상은 특징 선택을 철저히 해야만 가능한가, 아니면 어떤 중간 단계 표현이라도 충분한가?

주요 결과

• 중위수 시각 표현을 사용한 학습은 초기 훈련보다 상당히 높은 샘플 효율성을 보였다.
• 중위수 특징를 사용하는 에이전트는 새로운 환경으로의 일반화 능력이 뛰어나며, 반면 초기 훈련 에이전트는 이러한 환경에서 자주 실패한다.
• 성능 향상 정도는 작업에 맞는 중위수 특징를 철저히 선별하는 데에 크게 의존한다; 모든 특징가 동일한 이점을 제공하는 것은 아니다.
• 실험에서 특정된 가장 효과적인 특징들을 기반으로 한 단순하고 일반적인 인식 모듈을 성공적으로 개발하였으며, 이는 다양한 작업에서 효과적임을 입증하였다.
• 본 연구는 중간 단계의 인식이 활동적 시각 시스템에서 엔드 투 엔드 학습과 강력한 보완이 될 수 있음을 보여주었다.