[논문 리뷰] Learning to Visually Navigate in Photorealistic Environments Without any Supervision

Lina Mezghani, Sainbayar Sukhbaatar외 3명|arXiv (Cornell University)|2020. 04. 10.

Multimodal Machine Learning Applications참고 문헌 40인용 수 9

한 줄 요약

이 논문은 외부 보상이나 보조 지도 없이 RGB 관측값만을 사용하여 실사적 환경에서 시각적 탐색을 위한 자기지도 학습, 세 단계 프레임워크를 제안한다. 방법은 시각적 표현을 학습하고, 이산 내재 보상과 함께 장면 메모리 버퍼를 활용해 탐색하며, 자기 생성된 목표를 사용해 탐색 정책을 훈련한다. 이로써 기존의 지도 학습 기반 기준과 유사한 성능을 제시한다. Gibson 데이터셋에서 성능을 확보하였다.

ABSTRACT

Learning to navigate in a realistic setting where an agent must rely solely on visual inputs is a challenging task, in part because the lack of position information makes it difficult to provide supervision during training. In this paper, we introduce a novel approach for learning to navigate from image inputs without external supervision or reward. Our approach consists of three stages: learning a good representation of first-person views, then learning to explore using memory, and finally learning to navigate by setting its own goals. The model is trained with intrinsic rewards only so that it can be applied to any environment with image observations. We show the benefits of our approach by training an agent to navigate challenging photo-realistic environments from the Gibson dataset with RGB inputs only.

연구 동기 및 목표

• 실사적 환경에서 외부 지도나 보상 없이도 작동하는 탐색 에이전트를 개발하는 것.
• 오직 RGB 입력만을 사용해 가까운 위치와 먼 위치를 구별할 수 있는 시각적 표현을 학습하는 것.
• 지속적인 내재 보상에 의존하지 않고, 장면 메모리 버퍼를 활용해 탐색을 유도하는 탐색 정책을 훈련하는 것.
• 장면 메모리 버퍼를 통한 내재 형태의 보조 신호와 함께 자기 생성된 목표를 사용해 목표 지향적 탐색 정책을 학습하는 것.
• 복잡하고 현실적인 환경에서 지도 학습 기반 방법과 유사한 성능과 일반화 능력을 입증하는 것.

제안 방법

• 에이전트는 가까운 이미지 쌍과 먼 이미지 쌍을 구별하는 대비 학습 목표를 사용해 시각적 표현을 먼저 학습한다.
• 특징 표현이 버퍼 내 기존 항목들과 모두 다를 경우에만 상태를 장면 메모리 버퍼(SMB)에 추가함으로써 탐색을 수행한다.
• 지속적인 보상 함수가 국소 최적점으로 이어지는 문제를 피하기 위해 이산 내재 보상을 사용한다.
• 자기 생성된 목표 향한 행동 선택을 위해 SMB에 대한 트랜스포머 기반 어텐션 메커니즘을 사용해 탐색 정책을 훈련한다.
• 위치, 깊이 또는 외부 보상에 대한 접근 없이, 전체 시스템을 종단 간 자기지도 학습 방식으로 훈련한다.
• SMB는 두 가지 역할을 수행한다: 내재 보상의 형태를 결정하고, 탐색 및 탐색 정책에 대한 맥락을 제공한다.

실험 결과

연구 질문

• RQ1 외부 지도나 보상 없이 RGB 관측값만을 사용해 실사적 환경에서 탐색을 학습할 수 있는가?
• RQ2 복잡한 환경에서 국소 최적점에 갇히지 않고 높은 커버리지 달성을 위한 내재 탐색 전략은 어떻게 설계할 수 있는가?
• RQ3 자기지도 학습 기반 시각적 표현 모델이 지도 없이 효과적인 탐색을 지원하기에 충분히 일반화 가능한가?
• RQ4 명시적 지도 없이 메모리 기반 어텐션 메커니즘이 탐색 및 탐색 성능 향상에 얼마나 기여하는가?
• RQ5 자기지도 학습 에이전트가 도전적인 현실 유사 환경에서 지도 학습 기반 기준과 유사한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 커버리지 측면에서 외부 지도 없이도 커버리지 최적화를 직접 목표로 삼는 지도 학습 기반 오라클 에이전트와 유사한 성능을 보이며, 비지도 탐색에서 뛰어난 성능을 입증한다.
• 이산 내재 보상의 사용이 연속적 보상보다 유의미하게 뛰어나며, 후자는 보상 탐색으로 인해 국소 영역에 갇히는 경향이 있다.
• 에이전트는 탐색 과정에서 환경의 위상적으로 일관된 그래프를 성공적으로 구축하였으며, 이는 Ballou 환경에서의 시각화로 확인되었다.
• 제거 실험을 통해 이산 보상과 SMB 기반 어텐션 메커니즘이 효과적인 탐색에 필수적임을 확인하였다.
• 최종 탐색 정책은 새로운 환경에서의 새로운 테스트 목표에 대해 일반화 성능를 보이며, 자기지도 학습 접근의 강건성을 입증하였다.
• 모델은 외부 지도나 보상 신호 없이도 Gibson 데이터셋에서 모든 기준 모델을 능가하였다.