[논문 리뷰] Robust Navigation with Language Pretraining and Stochastic Sampling

Xiujun Li, Chunyuan Li외 6명|arXiv (Cornell University)|2019. 09. 05.

Multimodal Machine Learning Applications참고 문헌 20인용 수 13

한 줄 요약

이 논문은 대규모 사전 훈련된 언어 모델(BERT/GPT)을 활용하여 지시어 일반화를 향상시키고 노출 편향을 완화하기 위한 확률적 샘플링 훈련 전략을 적용한 시각-언어 탐색 에이전트 PRESS를 소개한다. 이러한 기법들을 조합함으로써 PRESS는 R2R 벤치마크에서 경로 길이에 따라 가중치가 부여된 성공률(SPL) 53%를 달성하여 기존 방법 대비 6% 절대적 향상을 이룩하며 새로운 최고 성능을 달성하였다.

ABSTRACT

Core to the vision-and-language navigation (VLN) challenge is building robust instruction representations and action decoding schemes, which can generalize well to previously unseen instructions and environments. In this paper, we report two simple but highly effective methods to address these challenges and lead to a new state-of-the-art performance. First, we adapt large-scale pretrained language models to learn text representations that generalize better to previously unseen instructions. Second, we propose a stochastic sampling scheme to reduce the considerable gap between the expert actions in training and sampled actions in test, so that the agent can learn to correct its own mistakes during long sequential action decoding. Combining the two techniques, we achieve a new state of the art on the Room-to-Room benchmark with 6% absolute gain over the previous best result (47% -> 53%) on the Success Rate weighted by Path Length metric.

연구 동기 및 목표

• 미래의 환경과 지시어에 대해 일반화할 수 있는 시각-언어 탐색 에이전트의 성능 향상.
• 훈련 중 순차적 행동 디코딩 시 발생하는 노출 편향 문제 해결.
• 분포 이탈 상황에서도 잘 작동하는 견고하고 일반화 능력이 뛰어난 탐색 정책 개발.
• 간단하고 효과적인 기법—사전 훈련된 모델과 확률적 샘플링—이 복잡한 최고 성능 모델들을 능가할 수 있음을 입증.

제안 방법

• 미래의 환경에 대한 제로샷 일반화 성능 향상을 위해 대규모 사전 훈련된 언어 모델(BERT 및 GPT)을 지시어 인코더로 미세조정.
• 훈련 중 교사-강요(teacher-forcing)와 학생-강요(student-forcing)를 혼합하는 확률적 샘플링 전략을 도입하여 훈련과 추론 간 격차를 줄임.
• 행동 예측을 위해 언어 특징과 시각적 특징 간의 컨텍스트-어텐션을 활용한 순서-순서 모델(sequence-to-sequence model) 사용.
• 추론 시 다수의 지시어를 하나의 경로로 통합하기 위해 컨텍스트 평균 풀링(context mean-pooling) 적용.
• 행동를 훈련 중에 확률적으로 샘플링하는 하이브리드 훈련 전략을 활용하여 에이전트가 자신의 실수로부터 학습할 수 있도록 함.
• 지시어가 주어졌을 때 전문가 경로의 로그우도(log-likelihood)를 최대화하도록 정책을 종합적으로 훈련.

실험 결과

연구 질문

• RQ1 대규모 사전 훈련된 언어 모델은 시각-언어 탐색에서 제로샷 일반화를 향상시키는 데 기여하는가?
• RQ2 훈련 중에 확률적 샘플링 전략을 적용하면 노출 편향이 감소하고 추론 시의 강인성이 향상되는가?
• RQ3 사전 훈련된 언어 모델과 확률적 행동 샘플링을 조합하면 R2R 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ4 다양한 훈련 전략 간에 본 적 없는 환경에서의 성능 격차는 어떻게 비교되는가?

주요 결과

• PRESS는 R2R 테스트 세트에서 53% SPL을 달성하여 이전 최고 성능(47% SPL) 대비 6% 절대적 향상을 기록하였다.
• 본 적 없는 환경에서 PRESS는 55% SPL을 기록하여 기준 모델인 seq2seq 모델(23% SPL)을 크게 앞서며 본-미본 환경 성능 격차를 줄였다.
• BERT와 GPT를 지시어 인코더로 사용할 경우 LSTM보다 더 우수한 일반화 성능를 보였으며, 특히 본 적 없는 환경에서 BERT가 뛰어난 성능를 보였다.
• 확률적 샘플링(Stochastic Sampling, SS)은 본 적 없는 환경에서 교사-강요와 학생-강요보다 우수했으며, 특히 오류 전파를 줄이는 데 효과적이었다.
• 정성적 결과 분석에서 PRESS는 기존 기준 모델이 혼동하는 드문 단어(예: 'mannequins' 및 'manikins')를 정확히 해석하는 것으로 나타났다.
• 제거 실험(ablation study) 결과, 사전 훈련된 언어 모델과 확률적 샘플링이 모두 핵심 요소임을 확인하였으며, 이들의 조합이 가장 뛰어난 일반화 능력과 성능 향상을 이끌었다.