[논문 리뷰] Counterfactual Vision-and-Language Navigation via Adversarial Path Sampling

Tsu-Jui Fu, Xin Wang외 4명|arXiv (Cornell University)|2019. 11. 17.

Multimodal Machine Learning Applications참고 문헌 38인용 수 15

한 줄 요약

이 논문은 시각-언어 탐색(Vision-and-Language Navigation, VLN)을 위한 대비적 탐색 경로를 생성하는 적대적 경로 샘플러(APS)를 제안한다. APS는 적대적 훈련을 통해 도전적이고 효과적인 데이터 증강을 생성하며, 이는 본문에서 다루는 환경과 새로운 환경 모두에서 일반화 능력을 향상시키고, 다양한 VLN 모델의 성능을 향상시키며, 새로운 환경에서의 사전 탐색을 가능하게 하여 데이터가 부족한 환경에서의 강인성과 성공률을 크게 향상시킨다.

ABSTRACT

Vision-and-Language Navigation (VLN) is a task where agents must decide how to move through a 3D environment to reach a goal by grounding natural language instructions to the visual surroundings. One of the problems of the VLN task is data scarcity since it is difficult to collect enough navigation paths with human-annotated instructions for interactive environments. In this paper, we explore the use of counterfactual thinking as a human-inspired data augmentation method that results in robust models. Counterfactual thinking is a concept that describes the human propensity to create possible alternatives to life events that have already occurred. We propose an adversarial-driven counterfactual reasoning model that can consider effective conditions instead of low-quality augmented data. In particular, we present a model-agnostic adversarial path sampler (APS) that learns to sample challenging paths that force the navigator to improve based on the navigation performance. APS also serves to do pre-exploration of unseen environments to strengthen the model's ability to generalize. We evaluate the influence of APS on the performance of different VLN baseline models using the room-to-room dataset (R2R). The results show that the adversarial training process with our proposed APS benefits VLN models under both seen and unseen environments. And the pre-exploration process can further gain additional improvements under unseen environments.

연구 동기 및 목표

• 인간의 사고 방식을 반영한 대비적 추론을 활용하여 시각-언어 탐색(VLN)에서의 데이터 부족 문제를 해결한다.
• 무작위 데이터 증강의 한계를 극복하여 정보가 부족하거나 품질이 낮은 경로를 생성하는 것을 방지한다.
• 모델에 종속되지 않는 방법을 개발하여 고유한 품질의 도전적인 대비적 경로만을 생성함으로써 탐색 정책의 성능을 향상시킨다.
• 기존 환경 기반 사전 탐색을 통해 새로운 환경에서의 일반화 능력과 적응 능력을 향상시킨다.
• 다양한 VLN 모델에서 무작위 증강보다도 적대적 샘플링을 통한 대비적 경로 샘플링이 더 높은 성능을 낼 수 있음을 입증한다.

제안 방법

• 모델에 종속되지 않는 적대적 경로 샘플러(APS)를 제안하여 데이터 증강을 위한 도전적인 탐색 경로를 학습적으로 생성한다.
• 적대적 훈련을 활용하여 네비게이터가 APS가 샘플링한 경로를 해결함으로써 정책을 향상시키고, 동시에 APS는 점점 더 어려운 경로를 생성하도록 진화하도록 한다.
• 기존의 VLN 모델인 Seq2Seq 및 Speaker-Follower에 아키텍처 변경 없이 APS를 통합한다.
• 배포 이전에 시뮬레이션을 통해 새로운 환경에서의 사전 탐색을 가능하게 하기 위해 APS를 활용한다.
• 최단 경로일 필요는 없지만 의미적이고 시각적으로 다양한 경로를 샘플링하도록 APS를 훈련시켜 정책의 강인성을 높인다.
• 시각적 특징 임bedding과 L2 거리 측정을 사용하여 환경 간의 차이를 평가하고 사전 탐색의 효과성을 평가한다.

실험 결과

연구 질문

• RQ1 적대적으로 샘플링된 대비적 경로는 본문에서 다루는 환경과 새로운 환경 모두에서 VLN 모델의 성능을 향상시킬 수 있는가?
• RQ2 APS가 생성한 데이터는 무작위로 샘플링된 데이터와 비교해 경로의 난이도와 모델 성능 향상 측면에서 어떻게 다른가?
• RQ3 APS를 활용한 사전 탐색은 새로운 3차원 환경에서의 일반화 능력을 어느 정도 향상시킬 수 있는가?
• RQ4 APS로 얻는 성능 향상은 훈련 환경과 테스트 환경 간의 시각적 및 구조적 유사성에 따라 달라지는가?
• RQ5 APS의 적대적 훈련 과정은 표준 데이터 증강 방식보다 더 강인한 탐색 정책을 도출할 수 있는가?

주요 결과

• APS가 샘플링한 경로는 무작위로 샘플링한 경로보다 훨씬 더 어려운 것으로 나타났으며, 모든 모델이 이 경로에서 성능이 떨어지므로 난이도가 높다는 것을 확인할 수 있다.
• APS가 샘플링한 경로로 훈련된 Seq2Seq 모델(Seq2Seq_aps)은 무작위로 샘플링한 경로로 훈련된 모델(Seq2Seq_rand)보다 성능이 뛰어나며, 새로운 환경으로의 일반화 능력도 뛰어나다.
• Seq2Seq_aps는 본문에서 다루는 환경과 새로운 환경 모두에서 성공률가 Seq2Seq_rand를 초월하며, APS가 생성한 데이터의 효과성을 입증한다.
• APS를 활용한 사전 탐색은 새로운 환경에서의 성능 향상에 기여하며, Seq2Seq의 경우 15단계, Speaker-Follower의 경우 40단계에서 가장 높은 성능을 기록한다.
• 훈련 환경과 시각적으로 더 큰 차이를 보이는 환경에서는 사전 탐색을 통해 더 큰 성능 향상이 이루어지며, 이는 새로운 공간에 대한 강력한 적응 능력을 시사한다.
• 정성적 결과 분석을 통해 사전 탐색을 통해 에이전트가 복잡하고 낯선 환경(예: 새로운 환경에서 화장실에서 나가는 것)을 성공적으로 탐색할 수 있었으며, 기준 모델은 실패한 것으로 확인되었다.