[논문 리뷰] Help, Anna! Visual Navigation with Natural Multimodal Assistance via Retrospective Curiosity-Encouraging Imitation Learning

Khanh Nguyen, Hal Daumé|arXiv (Cornell University)|2019. 09. 04.

Multimodal Machine Learning Applications참고 문헌 49인용 수 5

한 줄 요약

이 논문은 3차원 실내 환경에서 물체 탐색 작업을 위한 자연어 및 시각적 지시를 요청하고 해석할 수 있도록 하는 자동화된 다중모odal 탐색 보조자 Anna를 제안한다. 흥미 유도 교사 정책을 포함한 계층적 암시 학습 프레임워크를 사용하여 에이전트는 지능적으로 도움을 요청하고 예측할 수 없는 환경으로 일반화할 수 있으며, 예측 불가능한 언어 환경에서 88.37%의 성공률과 예측 불가능한 환경에서 47.45%의 성공률을 기록하여 기준 모델들을 크게 앞서는 성능을 보였다.

ABSTRACT

Mobile agents that can leverage help from humans can potentially accomplish more complex tasks than they could entirely on their own. We develop "Help, Anna!" (HANNA), an interactive photo-realistic simulator in which an agent fulfills object-finding tasks by requesting and interpreting natural language-and-vision assistance. An agent solving tasks in a HANNA environment can leverage simulated human assistants, called ANNA (Automatic Natural Navigation Assistants), which, upon request, provide natural language and visual instructions to direct the agent towards the goals. To address the HANNA problem, we develop a memory-augmented neural agent that hierarchically models multiple levels of decision-making, and an imitation learning algorithm that teaches the agent to avoid repeating past mistakes while simultaneously predicting its own chances of making future progress. Empirically, our approach is able to ask for help more effectively than competitive baselines and, thus, attains higher task success rate on both previously seen and previously unseen environments. We publicly release code and data at https://github.com/khanhptnk/hanna . A video demo is available at https://youtu.be/18P94aaaLKg .

연구 동기 및 목표

• 에이전트가 시각적 탐색 작업에서 자연스럽고 인간과 유사한 구두 및 시각적 보조를 학습할 수 있도록 하는 것.
• 비용이 많이 드는 인간의 개입을 줄이기 위해 자동화된 시스템(Anna)을 통해 인간의 보조를 시뮬레이션하는 것.
• 에이전트가 언제이고 어떻게 도움을 요청할 수 있는지 학습할 수 있도록 계층적 암시 학습 프레임워크를 개발하는 것.
• 다중모달 지시 이해와 흥미 유도 탐색을 통해 예측 불가능한 환경으로의 일반화를 향상시키는 것.
• 모의 인간 보조를 사용한 상호작용 탐색을 위한 저비용이고 확장 가능한 훈련 프레임워크를 구축하는 것.

제안 방법

• 에이전트는 복잡한 목표를 다룰 수 있는 단계로 분해할 수 있는 탐색 하위작업을 표현하기 위해 계층적 신경망을 사용한다.
• 에이전트의 행동에 적응하고 미시도 행동 탐색을 장려하는 교사 정책을 사용하여 새로운 암시 학습 알고리즘을 개발한다.
• 교사 정책은 이전에 방문한 위치에서 반복적인 탐색 실수를 줄이기 위해 흥미 유도 손실을 통합한다.
• 모델은 이미지 임베딩과 자연어 토큰에 대한 어텐션 메커니즘을 통해 언어 및 시각 지시어를 통합한다.
• 시스템은 Matterport3D 및 Room-to-Room 데이터셋에서 훈련되며, 실제 실내 환경에서의 에이전트 탐색을 모의하는 시뮬레이터를 사용한다.
• 에이전트는 불확실성과 미래 예측 기반으로 도움 요청 시점을 예측하여 중복 요청을 최소화한다.

실험 결과

연구 질문

• RQ1 에이전트는 시각적 탐색 작업에서 자연어 및 시각적 보조를 효과적으로 요청하고 해석할 수 있는가?
• RQ2 다중모달 보조(언어 + 시각)는 언어 또는 시각 전용 보조보다 예측 불가능한 환경으로의 일반화를 어떻게 향상시키는가?
• RQ3 흥미 유도 암시 학습 목표는 반복적인 탐색 실수를 줄이고 샘플 효율성을 향상시키는가?
• RQ4 지능적으로 도움을 요청하는 전략은 예측 불가능한 환경에서 히وري스틱 기반 도움 요청 전략보다 성능이 뛰어나기는 한가?
• RQ5 언어 기반 보조 이해는 에이전트가 본 적 없는 환경으로의 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 에이전트는 예측 불가능한 언어 환경에서 88.37%의 성공률과 예측 불가능한 환경에서 47.45%의 성공률을 기록하여 모든 기준 모델들을 능가했다.
• 언어 기반 보조를 추가함으로써 예측 불가능한 환경에서 성공률이 15.17% 향상되었으며, 이는 일반화 능력 향상에 기여하는 바를 확인했다.
• 흥미 유도 손실은 탐색 반복을 17.85% 감소시키고 도움 요청 반복을 21.10% 감소시켜 복원력을 향상시켰다.
• 학습된 도움 요청 정책은 AskEvery5 기준 대비 도움 요청을 50% 줄였고, 예측 불가능한 환경에서 성공률은 10.40% 높였다.
• 다중모달 입력을 사용하는 계층적 모델은 LSTM 기반 인코더-디코더보다 예측 불가능한 환경에서 성공률이 28.2% 높았다.
• 에이전트의 성능은 다중모달 보조로 크게 향상되었으며, 언어 전용 보조는 예측 불가능한 언어 환경에서 84.95%의 성공률을 기록했고, 시각을 추가함으로써 88.37%로 상승했다.