[논문 리뷰] Learning to Navigate Using Mid-Level Visual Priors

Alexander F. Sax, Jeffrey O. Zhang외 5명|arXiv (Cornell University)|2019. 12. 23.

Reinforcement Learning in Robotics참고 문헌 52인용 수 12

한 줄 요약

이 논문은 로봇 주행을 위한 강화학습 정책에 중위수 시각 사전 지식(예: 깊이 추정, 에지 검출, 의미 세그멘테이션)을 통합하는 것을 제안한다. 원시 픽셀 대신 사전 훈련된 시각 모델을 사용해 구조화된 표현을 추출함으로써, 이 접근법은 원천으로부터 학습하거나 최신의 표현 학습 방법을 사용하는 것보다 더 빠른 학습, 환경 간 보다 우수한 일반화 능력, 그리고 더 높은 최종 성능을 달성한다.

ABSTRACT

How much does having visual priors about the world (e.g. the fact that the world is 3D) assist in learning to perform downstream motor tasks (e.g. navigating a complex environment)? What are the consequences of not utilizing such visual priors in learning? We study these questions by integrating a generic perceptual skill set (a distance estimator, an edge detector, etc.) within a reinforcement learning framework (see Fig. 1). This skill set ("mid-level vision") provides the policy with a more processed state of the world compared to raw images. Our large-scale study demonstrates that using mid-level vision results in policies that learn faster, generalize better, and achieve higher final performance, when compared to learning from scratch and/or using state-of-the-art visual and non-visual representation learning methods. We show that conventional computer vision objectives are particularly effective in this regard and can be conveniently integrated into reinforcement learning frameworks. Finally, we found that no single visual representation was universally useful for all downstream tasks, hence we computationally derive a task-agnostic set of representations optimized to support arbitrary downstream tasks.

연구 동기 및 목표

• 중위수 시각 사전 지식을 통합함으로써 시그널-모터 강화학습에서 샘플 효율성, 일반화 능력, 최종 성능 향상 여부를 조사하는 것.
• 독립적으로 훈련된 전통적인 컴퓨터 비전 목표가 능동적 RL 작업에서 효과적인 인지 사전 지식으로 기능할 수 있는지 평가하는 것.
• 다양한 후행 주행 작업을 지원할 수 있는 단일의 작업에 종속되지 않는 중위수 표현 집합이 존재하는지 확인하는 것.
• 다양한 주행 및 탐색 작업에서 의미적 표현과 기하학적 표현 간의 효과성 비교.
• 중위수 시각 표현이 보상 설계 없이도 의도하지 않은 유용한 행동이 자발적으로 나타나게 하는지 평가하는 것.

제안 방법

• 표준 컴퓨터 비전 작업(예: 깊이 추정, 인스턴스 세그멘테이션 등)을 위한 사전 훈련된 신경망을 사용해 원시 이미지에서 중위수 시각 특징을 추출한다.
• 이 특징들이 강화학습 정책의 관측값으로 사용되며, 원시 픽셀 입력을 대체한다.
• 이 방법은 가비슨, 헤지택, 비즈두엄 세 환경에서 24개의 다른 중위수 시각 표현을 대상으로 평가된다.
• 다양한 인지적 필요를 충족시키기 위해 계산적으로 유도된 최대 커버리지 특징 선택 알고리즘을 사용한다.
• 주행 및 탐색 작업 전반에서 성능 평가에 표준 지표(성공률, SPL, 충돌 수, 에피소드당 보상)를 사용한다.
• 각 실험에서 10개의 랜덤 시드를 기반으로 클러스터 효과 조정이 적용된 윌코크슨 순위합 검정을 통해 통계적 유의성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 중위수 시각 사전 지식을 사용하면 시그널-모터 강화학습에서 샘플 효율성과 최종 성능 향상이 이루어지는가?
• RQ2 의미적 표현과 기하학적 표현은 주행 작업과 탐색 작업에서 어떤 정도로 효과적인가?
• RQ3 단일의 작업에 종속되지 않는 중위수 표현 집합이 다양한 후행 작업으로 일반화될 수 있는가?
• RQ4 중위수 시각 특징은 보상 함수에 의해 명시적으로 설계되지 않은 행동이 자발적으로 나타나게 하는가?
• RQ5 최신의 표현 학습 방법을 사용하더라도 원시 픽셀에서 직접 학습하는 것보다 중위수 시각 표현을 사용하는 것이 더 효과적인가?

주요 결과

• 중위수 시각 사전 지식을 사용해 훈련한 정책은 원시 픽셀에서 학습하거나 최신의 표현 학습 방법을 사용한 정책보다 유의미하게 더 높은 최종 성능를 달성했다.
• 중위수 시각 표현은 샘플 효율성을 향상시켰으며, 정책이 더 빨리 학습하고 수렴하기 위해 더 적은 환경 상호작용을 필요로 했다.
• 시각 도메인 이동이 있는 환경 간 일반화 능력은 중위수 표현을 사용했을 때 원시 픽셀을 사용했을 때보다 현저히 향상되었다.
• 최고의 성능을 보인 중위수 특징은 작업에 따라 달라졌다: 주행 작업에서는 의미적 특징이 기하학적 특징보다 뛰어났고, 탐색 작업에서는 기하학적 특징이 의미적 특징보다 뛰어났다.
• 계산적으로 유도된 최대 커버리지 특징 집합은 무작위로 선택된 특징 집합보다 우수했으며, 최고의 개별 특징과도 동등하거나 이를 초월했다.
• 보상 설계 없이도 중위수 시각 표현을 사용해 훈련한 정책은 효율적인 경로 계획과 장애물 회피와 같은 바람직한 행동을 보였으며, 이는 자발적인 능력이 있음을 시사한다.