[논문 리뷰] Auxiliary Tasks and Exploration Enable ObjectNav

Joel Ye, Dhruv Batra외 2명|arXiv (Cornell University)|2021. 04. 08.

Multimodal Machine Learning Applications참고 문헌 37인용 수 15

한 줄 요약

이 논문은 보조 작업과 탐색 보상(보상)을 통합하여 상태 기반의 간단한 CNN+RNN 에이전트를 제안하며, ObjectGoal Navigation에서 최신 기준 성능을 달성한다. 시맨틱 세그멘테이션, 목표 존재 특징, 역역학 예측을 추가함으로써 에이전트는 더 매끄럽고 낮은 차원의 순환 동역학을 학습하게 되어, Habitat ObjectNav 챌린지에서 24.5%의 성공률과 8.1%의 SPL을 기록한다. 이는 이전 작업 대비 각각 37%와 8%의 상대적 향상이다.

ABSTRACT

ObjectGoal Navigation (ObjectNav) is an embodied task wherein agents are to navigate to an object instance in an unseen environment. Prior works have shown that end-to-end ObjectNav agents that use vanilla visual and recurrent modules, e.g. a CNN+RNN, perform poorly due to overfitting and sample inefficiency. This has motivated current state-of-the-art methods to mix analytic and learned components and operate on explicit spatial maps of the environment. We instead re-enable a generic learned agent by adding auxiliary learning tasks and an exploration reward. Our agents achieve 24.5% success and 8.1% SPL, a 37% and 8% relative improvement over prior state-of-the-art, respectively, on the Habitat ObjectNav Challenge. From our analysis, we propose that agents will act to simplify their visual inputs so as to smooth their RNN dynamics, and that auxiliary tasks reduce overfitting by minimizing effective RNN dimensionality; i.e. a performant ObjectNav agent that must maintain coherent plans over long horizons does so by learning smooth, low-dimensional recurrent dynamics. Site: https://joel99.github.io/objectnav/

연구 동기 및 목표

• 명시적인 공간 지도 없이도 일반적인 엔드 투 엔드 학습된 에이전트가 ObjectGoal Navigation에서 최신 기준 성능을 달성할 수 있도록 하는 것.
• 복잡하고 새로운 환경에서 기존 CNN+RNN 에이전트의 낮은 샘플 효율성과 과적합 문제를 해결하는 것.
• 보조 작업과 탐색 신호가 단순한 아키텍처가 ObjectNav에서 지도 기반 방법을 능가하도록 재활성화할 수 있는지 조사하는 것.
• 순환 동역학이 에이전트 행동과 실패 모드(특히 기억 상실과 혼란스러운 동역학)에 미치는 역할을 분석하는 것.
• 희박한 ObjectNav 보상에 빠르게 적응할 수 있도록 하면서도 탐색 능력을 유지하는 테더드-정책 방법을 개발하는 것.

제안 방법

• 에이전트의 입력에 자아 중심 시맨틱 세그멘테이션과 목표 존재 특징(SGE)을 추가하여 목표 물체가 프레임의 몇 퍼센트를 占지하고 있는지 나타내는 특징을 제공한다.
• 세 가지 보조 작업을 도입: 역역학 예측, 미래 프레임 예측(CPC), 지도 커버리지 예측을 통해 구조적인 세계 이해를 장려한다.
• 탐색 보상(보상)을 추가하여 미탐색 영역을 방문하도록 유도함으로써, 새로운 환경에서의 샘플 효율성을 향상시킨다.
• 테더드-정책 메커니즘을 구현하여 보조 정책을 희박한 ObjectNav 보상에만 기반해 온-폴리시 업데이트로 학습시킴으로써 더 빠른 적응을 가능하게 한다.
• 주 정책은 탐색을 담당하고, 보조 정책은 주 정책의 행동 분포를 통해 작동하는 방식으로, 주 정책은 탐색, 보조 정책은 탐색을 담당한다.
• 프로빙 기법을 적용하여 순환 동역학을 분석하며, 학습 과정과 다양한 랜덤 시드를 통해 RNN 상태의 固定점 분석을 통한 기억 범위 추정을 수행한다.

실험 결과

연구 질문

• RQ1 명시적인 공간 지도 없이도 단순한 CNN+RNN 에이전트가 ObjectGoal Navigation에서 최신 기준 성능을 달성할 수 있는가?
• RQ2 보조 작업이 몸체 기반 에이전트의 순환 동역학의 안정성과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 탐색 보상(보상)을 추가하면 새로운 환경에서 샘플 효율성과 성공률이 어느 정도 향상되는가?
• RQ4 테더드-정책 접근 방식이 단일 정책의 미세조정 대비 희박한 ObjectNav 보상에 대한 적응 능력을 향상시킬 수 있는가?
• RQ5 순환 동역학—특히 기억 범위와 궤적 차원 수—는 에이전트의 실패와 성능에 어떤 역할을 하는가?

주요 결과

• 제안된 에이전트는 Habitat ObjectNav 챌린지에서 24.5%의 성공률과 8.1%의 SPL을 기록하여, 이전 최신 기준 대비 각각 37%와 8%의 상대적 향상률을 기록했다.
• 보조 작업은 에이전트의 RNN가 가진 효과적 차원 수를 제약함으로써 과적합을 감소시키며, 더 매끄럽고 낮은 차원의 순환 동역학을 유도한다.
• 에이전트들은 시각적으로 단순한 장면을 선호하는 경향이 있으며, 이는 더 안정적인 내부 표현을 유도하기 때문이다.
• 실패 모드는 일반적으로 장거리 환경에서 목표나 경로 정보를 기억을 상실할 때 발생하며, 이는 기억 상실과 관련이 깊다.
• 특히 CPC와 CP를 통한 보조 작업은 에이전트의 RNN 신뢰 상태의 기억 범위를 감소시켜 순환 동역학의 정규화를 나타낸다.
• 희박한 ObjectNav 보상에 기반해 훈련된 테더드 정책은 표준 미세조정보다 성능이 뛰어나며, 더 빠른 적응과 향상된 샘플 효율성을 보였다.