[논문 리뷰] BabyWalk: Going Farther in Vision-and-Language Navigation by Taking Baby Steps

Zhu Wang, Hexiang Hu외 5명|arXiv (Cornell University)|2020. 05. 10.

Multimodal Machine Learning Applications참고 문헌 28인용 수 8

한 줄 요약

BabyWalk는 메모리 증강 정책 네트워크를 사용하여 장거리 지시문을 순차적인 '베이비스텝(BabySteps)'으로 분해하는 시각-언어 탐색 에이전트를 제안한다. 이는 먼저 각 마이크로-지시문에서 전문가의 경로를 모방하는 단계를 거치고, 점차 길어지는 경로로 전이되는 커리큘럼 기반 강화학습을 통해 성능을 향상시킨다. 이로써 장거리 탐색 작업에 대해 최신 기술 수준의 일반화 성능을 달성하며, r6r 및 r8r와 같은 도메인 외부로의 일반화 성능도 도메인 내 성능에 근접하게 달성한다.

ABSTRACT

Learning to follow instructions is of fundamental importance to autonomous agents for vision-and-language navigation (VLN). In this paper, we study how an agent can navigate long paths when learning from a corpus that consists of shorter ones. We show that existing state-of-the-art agents do not generalize well. To this end, we propose BabyWalk, a new VLN agent that is learned to navigate by decomposing long instructions into shorter ones (BabySteps) and completing them sequentially. A special design memory buffer is used by the agent to turn its past experiences into contexts for future steps. The learning process is composed of two phases. In the first phase, the agent uses imitation learning from demonstration to accomplish BabySteps. In the second phase, the agent uses curriculum-based reinforcement learning to maximize rewards on navigation tasks with increasingly longer instructions. We create two new benchmark datasets (of long navigation tasks) and use them in conjunction with existing ones to examine BabyWalk's generalization ability. Empirical results show that BabyWalk achieves state-of-the-art results on several metrics, in particular, is able to follow long instructions better. The codes and the datasets are released on our project page https://github.com/Sha-Lab/babywalk.

연구 동기 및 목표

• 짧은 지시문만으로 훈련된 경우 장거리 지시문으로의 일반화를 해결하기 위한 도전 과제에 대응하기 위해.
• 목표 도달을 넘어서 지시문의 정확성에 중점을 두어, 특히 장거리 경로에서의 일반화 성능을 향상시키기 위해.
• 장거리 지시문을 순차적인 마이크로-지시문(BabySteps)으로 분해하는 것이 전이 성능을 향상시키는지 조사하기 위해.
• 짧은 단계에서의 모방 학습과 점차 길어지는 작업에 대한 커리큘럼 기반 강화학습을 결합한 훈련 파이프라인을 개발하기 위해.

제안 방법

• 에이전트는 장거리 탐색 지시문을 각각 별개의 하위 목표를 가진 더 짧은 '베이비스텝'으로 분해한다.
• 과거 경험을 저장하는 메모리 버퍼가 있어 향후 단계에서의 맥락 인식을 가능하게 하며, 순차적 의사결정을 지원한다.
• 첫 번째 훈련 단계에서는 각 베이비스텝과 전문가의 경로를 쌍으로 묶어 모방 학습을 통해 저수준의 탐색 정책을 학습한다.
• 두 번째 단계에서는 짧은 경로에서 시작하여 점차 길어지는 탐색 작업으로 커리큘럼 기반 강화학습을 적용하여 내성적 저항력과 일반화 능력을 향상시킨다.
• r4r에서 훈련하고 r6r 및 r8r와 같은 더 긴, 볼 수 없는 데이터셋에서 평가하여 도메인 외부 일반화 능력을 테스트한다.
• SPL, NDTW, SDTW, CLS, PL 등의 여러 지표를 사용하여 평가하며, 아블레이션 및 전이 분석을 실시한다.

실험 결과

연구 질문

• RQ1 짧은 탐색 작업에서 훈련된 VLN 에이전트가 훈련 데이터에 포함되지 않은 급격히 긴 탐색 경로로 일반화할 수 있는가?
• RQ2 장거리 지시문을 순차적인 베이비스텝으로 분해하면 지시문 수행 정확도와 탐색 일반화 능력이 향상되는가?
• RQ3 점차 길어지는 경로 길이에 대해 커리큘럼 기반 강화학습을 적용할 경우, 에이전트가 장거리이고 복잡한 지시문을 따라가는 능력에 어떤 영향을 미치는가?
• RQ4 짧은 시퀀스에 대해 종단간(end-to-end) 훈련하는 것에 비해, 마이크로-지시문에서의 모방 학습이 경로 수행 정확도 측면에서 얼마나 더 우수한가?
• RQ5 메모리 증강 설계가 장수명 탐색에서 순차적 추론과 맥락 인식 능력을 향상시키는가?

주요 결과

• BabyWalk는 장거리 경로 탐색 작업에서 최신 기술 수준의 성능을 달성하였으며, r6r에서 25.9%의 SDTW 점수, r8r에서 26.2%의 SDTW 점수를 기록하여 모든 베이스라인을 압도한다.
• r8r에서 BabyWalk는 48.3%의 CLS 점수와 48.1%의 SPL 점수를 기록하여 도메인 내 에이전트의 성능에 근접하였다.
• 이전 방법들보다 유의미하게 더 뛰어난 일반화 능력을 보였으며, 예를 들어 r4r에서 훈련한 경우 r6r에서 25.4%의 SDTW 점수를 기록했고, 다음으로 우수한 방법은 15.3%였다.
• BabyWalk는 r8r에서 도메인 내 모델과 거의 동일한 성능을 기록하여 강력한 도메인 외부 일반화 능력을 입증하였으며, 특히 경로 수행 지표에서 두드러진 성능을 보였다.
• 아블레이션 연구를 통해 베이비스텝 분해와 커리큘럼 학습이 모두 핵심 요소임을 확인하였으며, 둘 중 하나를 제거하면 성능이 심각하게 저하됨을 확인하였다.
• r8r에서 훈련한 모델이 전체적으로 가장 우수한 일반화 능력을 보였으며, 이는 더 긴 시퀀스에서 학습하는 것이 더 짧은 경로로의 내삽보다 더 긴 경로로의 외삽에 더 효과적임을 시사한다.