[논문 리뷰] Active Visual Information Gathering for Vision-Language Navigation

Hanqing Wang, Wenguan Wang외 3명|arXiv (Cornell University)|2020. 07. 15.

Multimodal Machine Learning Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 비디오-언어 탐색(VLN)을 위한 엔드 투 엔드 활성 시각 정보 수집 프레임워크를 제안하며, 불확실성을 줄이기 위해 에이전트가 모호한 환경을 사전에 탐색할 수 있도록 한다. 언제, 어디서, 무엇을 탐색할지를 학습함으로써 에이전트는 탐색의 강건성을 향상시키며, R2R 벤치마크의 세 가지 설정(단일 실행, 사전 탐색, 빔 서치)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Vision-language navigation (VLN) is the task of entailing an agent to carry out navigational instructions inside photo-realistic environments. One of the key challenges in VLN is how to conduct a robust navigation by mitigating the uncertainty caused by ambiguous instructions and insufficient observation of the environment. Agents trained by current approaches typically suffer from this and would consequently struggle to avoid random and inefficient actions at every step. In contrast, when humans face such a challenge, they can still maintain robust navigation by actively exploring the surroundings to gather more information and thus make more confident navigation decisions. This work draws inspiration from human navigation behavior and endows an agent with an active information gathering ability for a more intelligent vision-language navigation policy. To achieve this, we propose an end-to-end framework for learning an exploration policy that decides i) when and where to explore, ii) what information is worth gathering during exploration, and iii) how to adjust the navigation decision after the exploration. The experimental results show promising exploration strategies emerged from training, which leads to significant boost in navigation performance. On the R2R challenge leaderboard, our agent gets promising results all three VLN settings, i.e., single run, pre-exploration, and beam search.

연구 동기 및 목표

• 기존 VLN 에이전트가 모호한 지시와 부분 관측 상태에서 신뢰할 수 없고 비효율적인 탐색을 유도하는 문제를 해결하기 위해.
• 결정을 내리기 전에 맥락 정보를 수집할 수 있도록 인간과 유사한 활성 탐색 능력을 에이전트에 부여하기 위해.
• 탐색 정책을 동적으로 결정하여, 언제 탐색할 것인지, 어느 방향으로 탐색할 것인지, 새로운 시각적 정보를 바탕으로 탐색 정책을 어떻게 업데이트할 것인지 학습하기 위해.
• 지능적인 정보 수집을 통해 볼 수 있는 환경과 볼 수 없는 환경 모두에서 성공할 수 있도록 일반화 능력을 향상시키기 위해.
• 다양한 평가 설정에서 R2R VLN 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 탐색 결정 과정을 탐색 정책에 통합한 엔드 투 엔드로 훈련 가능한 탐색 모듈을 도입한다.
• 에이전트가 최대 6단계까지 탐색할 수 있는 다단계 탐색 전략을 사용하며, 탐색 결정은 탐색 신뢰도의 불확실성에 기반한다.
• 시각적 특징을 탐색된 방향에서 가중치를 두어 유연한 어텐션 메커니즘을 사용하고, 이를 바탕으로 탐색 정책 임bedding을 갱신한다.
• 모방 학습과 강화 학습의 조합을 사용하여 에이전트를 훈련시키며, 성공적인 탐색과 효율적인 탐색을 장려하는 보상 신호를 제공한다.
• 신뢰도 기반 탐색 트리거를 구현하여, 탐색 정책 출력의 신뢰도가 낮을 경우(즉, 모호성이 있을 경우) 탐색을 활성화한다.
• 단일 단계 및 다단계 탐색을 지원하며, 결정을 내리는 데 있어 정보 수확을 극대화하도록 탐색 경로를 최적화한다.

실험 결과

연구 질문

• RQ1 에이전트는 모호한 지시로 인한 불확실성을 줄이기 위해 환경을 사전에 탐색할 수 있는가?
• RQ2 에이전트는 탐색을 통해 결정에 유의미한 정보를 얻기 위해 언제, 어디서 탐색할 것인지 판단할 수 있는가?
• RQ3 활성 탐색을 탐색 정책에 통합하면 표준 VLN 벤치마크에서 성능 향상이 이루어지는가?
• RQ4 허용 가능한 최대 탐색 단계 수가 탐색 성공률과 효율성에 어떤 영향을 미치는가?
• RQ5 에이전트는 강력한 탐색 및 정보 수집 전략을 학습함으로써 볼 수 없는 환경으로의 일반화가 가능한가?

주요 결과

• 제안된 에이전트는 빔 서치 설정에서 R2R 벤치마크에서 0.70 SPL을 달성하여 기존 기준 모델을 크게 능가한다.
• 최대 4단계 탐색으로도 19.7%의 탐색 비율을 기록하며, SPL을 0.66에서 0.70으로 향상시켜 효과적인 정보 수집을 입증한다.
• 탐색 중 잘못된 탐색 행동의 約 65.2%를 수정하는 데 성공했으며, 올바른 행동 중 10.7%만 잘못 변경하였다.
• 성능은 최대 4단계 탐색에서 최고에 도달하며, 6단계로 늘어나면 성능이 저하되어 최적 탐색 깊이를 초과하면 수익 감소 현상이 나타남을 시사한다.
• 에이전트는 복잡하고 모호한 케이스(예: 여러 출구가 있는 복도)를 탐색하고 탐색 신뢰도를 재평가함으로써 성공적으로 탐색한다.
• 정성적 결과에서는 탐색이 정답 탐색 방향의 어텐션 점수를 높이며, 정보 수집 이후 의사결정 능력 향상의 확인을 가능하게 한다.