[논문 리뷰] Multi-modal Discriminative Model for Vision-and-Language Navigation

Haoshuo Huang, Vihan Jain외 3명|arXiv (Cornell University)|2019. 05. 31.

Multimodal Machine Learning Applications참고 문헌 22인용 수 9

한 줄 요약

이 논문은 시각-언어 탐색(Vision-and-Language Navigation, VLN)에서 자연어 지시어와 탐색 경로 간의 일치도를 평가하는 다중모달 판별 모델을 제안한다. 저비용으로 채굴된 부정적 경로를 훈련 데이터로 사용함으로써, 판별기는 데이터 증강을 통해 고품질의 지시어-경로 쌍을 식별하게 되며, 이는 구성 요소가 사전 훈련된 탐색 에이전트가 미리 보지 않은 환경에서 성공률을 10% 상대적으로 향상시키는 데 기여한다.

ABSTRACT

Vision-and-Language Navigation (VLN) is a natural language grounding task where agents have to interpret natural language instructions in the context of visual scenes in a dynamic environment to achieve prescribed navigation goals. Successful agents must have the ability to parse natural language of varying linguistic styles, ground them in potentially unfamiliar scenes, plan and react with ambiguous environmental feedback. Generalization ability is limited by the amount of human annotated data. In particular, \emph{paired} vision-language sequence data is expensive to collect. We develop a discriminator that evaluates how well an instruction explains a given path in VLN task using multi-modal alignment. Our study reveals that only a small fraction of the high-quality augmented data from \citet{Fried:2018:Speaker}, as scored by our discriminator, is useful for training VLN agents with similar performance on previously unseen environments. We also show that a VLN agent warm-started with pre-trained components from the discriminator outperforms the benchmark success rates of 35.5 by 10\% relative measure on previously unseen environments.

연구 동기 및 목표

• 희소하고 비용이 많이 드는 인간 주석 데이터로 인해 시각-언어 탐색(VLN) 에이전트의 일반화 능력이 제한되는 문제를 해결한다.
• 대규모 자동 생성 데이터 증강에서 고품질 지시어-경로 쌍을 식별함으로써 데이터 효율성을 향상시킨다.
• 다중모달 일치도를 활용하여 지시어-경로 일관성을 평가하는 판별 모델을 개발한다.
• 판별기에서 사전 훈련된 구성 요소를 사용해 초기화함으로써 VLN 에이전트의 일반화 능력을 향상시킨다.
• 인간 주석 없이도 확장 가능하고 고정밀도인 방법을 제공하여 노이즈가 많은 데이터를 걸러내고, 후속 에이전트 성능을 향상시킨다.

제안 방법

• 다중모달 일치도를 사용하여 주어진 지시어가 쌍으로 연결된 탐색 경로를 얼마나 잘 설명하는지 예측하는 판별기를 훈련한다.
• 경로 뒤섞기, 뒤집기, 무작위 샘플링과 같은 저비용 부정 샘플링 기법을 사용해 부정적 지시어-경로 쌍을 생성한다.
• 언어 모odal과 시각 모달 간의 대응 개념을 정렬하는 데 기반한 유사도 지표를 사용해 판별기를 훈련한다.
• 다중모달 표현의 정밀도를 유지하기 위해 시각 인코더(예: ResNet-152)와 언어 인코더(예: Bi-LSTM)를 미세조정한다.
• 완전히 훈련된 판별기의 사전 훈련된 구성 요소를 사용해 탐색 에이전트를 초기화하여 학습된 다중모달 일치도를 활용한다.
• 탐색 에이전트의 훈련 중에 스터디 포스팅(학생 강요)을 적용하여 학습 안정성과 정책 최적화를 향상시킨다.

실험 결과

연구 질문

• RQ1 판별 모델은 대규모 기계 생성 증강 데이터에서 고품질 지시어-경로 쌍을 효과적으로 식별할 수 있는가?
• RQ2 판별기 내 다중모달 일치도는 시각-언어 탐색 에이전트의 일반화 능력을 어떻게 향상시키는가?
• RQ3 채굴된 부정적 경로로 훈련된 판별기는 이전에 보지 않은 환경에서 탐색 에이전트의 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 판별기가 학습한 일치도는 저품질 데이터 걸러내기나 VLN에서 커리큘럼 학습을 이끄는 데 사용될 수 있는가?
• RQ5 사전 훈련된 판별기의 구성 요소로 초기화된 탐색 에이전트는 표준 훈련 방식보다 더 나은 일반화 성능을 보일 수 있는가?

주요 결과

• Fried et al. (2018)의 증강 데이터 중 고품질인 데이터는 약 1%에 불과하며, 판별기의 점수 기반 측정 결과로 확인되었다.
• 판별기가 순위를 매긴 상위 1%의 증강 데이터만을 사용해도 전체 증강 데이터 세트를 사용했을 때와 거의 동일한 성능 향상을 달성했다.
• 사전 훈련된 판별기의 구성 요소로 초기화된 탐색 에이전트는 검증용 미사용 환경에서 벤치마크 성공률보다 10% 상대적인 향상을 보였다.
• 정성적 분석 결과, 판별기는 '문을 빠져나가기'와 같은 지시어를 문이 있는 이미지와 일치시키는 등 의미 있는 다중모달 일치도를 학습했다.
• 경로 뒤섞기(PS)와 인지 유사도(PS) 부정 샘플을 모두 사용해 훈련한 판별기는 PS 부정 샘플만으로 훈련한 경우보다 더 강력하고 정확한 일치도를 학습했다.
• 판별기의 일치도 메커니즘은 효과적인 전이 학습을 가능하게 하여, 탐색 에이전트가 미사용 환경으로의 일반화 능력을 향상시켰다.