[논문 리뷰] Self-Monitoring Navigation Agent via Auxiliary Progress Estimation

Chih‐Yao Ma, Jiasen Lu외 5명|arXiv (Cornell University)|2019. 01. 10.

Robotic Path Planning Algorithms참고 문헌 51인용 수 134

한 줄 요약

이 논문은 시각-텍스트 공동 접지 및 진행 모니터를 갖춘 자기-모니터링 Vision-and-Language Navigation 에이전트를 도입하여 Room-to-Room에서 최첨단 성능을 달성했으며, 특히 보이지 않는 환경에서 성공률에서 8% 절대 개선을 보였다.

ABSTRACT

The Vision-and-Language Navigation (VLN) task entails an agent following navigational instruction in photo-realistic unknown environments. This challenging task demands that the agent be aware of which instruction was completed, which instruction is needed next, which way to go, and its navigation progress towards the goal. In this paper, we introduce a self-monitoring agent with two complementary components: (1) visual-textual co-grounding module to locate the instruction completed in the past, the instruction required for the next action, and the next moving direction from surrounding images and (2) progress monitor to ensure the grounded instruction correctly reflects the navigation progress. We test our self-monitoring agent on a standard benchmark and analyze our proposed approach through a series of ablation studies that elucidate the contributions of the primary components. Using our proposed method, we set the new state of the art by a significant margin (8% absolute increase in success rate on the unseen test set). Code is available at https://github.com/chihyaoma/selfmonitoring-agent .

연구 동기 및 목표

• VLN에서 에이전트가 명시적 목표 맵 없이 어떤 지시가 완료되었는지 그리고 다음에 필요한 것이 무엇인지 알아야 한다는 목표를 다루고 동기를 부여한다.
• 과거/다가오는 지시와 주변 이미지로부터 현재 동작을 접지하는 시각-텍스트 공동 접지 모듈을 개발한다.
• 지시 이행의 완성도와 목표를 향한 진행 상황을 추정하여 접지를 정규화하는 진행 모니터를 도입한다.
• 접지 및 진행 신호를 행동 선택 및 빔 서치 추론에 통합하여 내비게이션 성능을 향상시킨다.

제안 방법

• 시각-텍스트 공동 접지와 진행 모니터의 두 구성 요소를 제안하여 시각 및 지시의 동시 접지와 진행 추정을 가능하게 한다.
• 각 단계에서 접지된 텍스트 및 시각 특징을 계산하기 위해 주의(attention)을 가지는 시퀀스-투-시퀀스 LSTM 기반 아키텍처를 사용한다.
• 텍스트 접지는 지시어의 단어에 대한 소프트 어텐션과 위치 인코딩으로 계산하고; 시각 정보는 파노라마 뷰 특징에 대한 어텐션으로 접지한다.
• 접지된 지시와 시각 맥락을 결합하여 내비게이션 가능한 방향에 대해 내적 스코어링과 소프트맥스로 행동을 선택한다.
• 진행 모니터를 도입하여 과거 이력, 접지된 시각, 텍스트 어텐션으로부터 진행 신호 p_t^{pm}를 계산하고 학습을 정규화한다.
• 행동 선택 크로스 엔트로피와 진행 추정 회귀 항을 결합한 공동 손실로 학습하고; 추론은 진행 신호를 빔 스코어에 통합하는 빔 서치를 사용한다.

실험 결과

연구 질문

• RQ1 시각 및 텍스트 두 모달리티에서 공동으로 접지되어 어떤 지시가 완료되었고 다음에 필요한 지시가 무엇인지 판단하는 방법은 어떻게 될 수 있을까?
• RQ2 진행 추정 모듈이 접지를 정규화하고 VLN 과제에서 목표를 향한 탐색 진행을 개선할 수 있는가?
• RQ3 진행 신호를 빔 서치에 통합하면 보지 않은 환경의 일반화가 개선되는가?
• RQ4 공동 접지와 진행 모니터링이 R2R에서 최첨단 성능에 기여하는 바는 무엇인가?
• RQ5 augmentation 여부에 따라 데이터 효율성은 이전 방법과 어떻게 비교되는가?

주요 결과

방법	NE (Validation-Seen)	SR (Validation-Seen)	OSR (Validation-Seen)	SPL (Validation-Seen)	NE (Validation-Unseen)	SR (Validation-Unseen)	OSR (Validation-Unseen)	SPL (Validation-Unseen)	NE (Test Unseen)	SR (Test Unseen)	OSR (Test Unseen)	SPL (Test Unseen)
Random	9.45	0.16	0.21	-	9.23	0.16	0.22	-	9.77	0.13	0.18	-
Student-forcing	6.01	0.39	0.53	-	7.81	0.22	0.28	-	7.85	0.20	0.27	-
RPA	5.56	0.43	0.53	-	7.65	0.25	0.32	-	7.53	0.25	0.33	-
Speaker-Follower	3.88	0.63	0.71	-	5.24	0.50	0.63	-	-	-	-	-
Speaker-Follower* (leaderboard)	3.08	0.70	0.78	-	4.83	0.55	0.65	-	4.87	0.53	0.64	-
Ours (beam search) (leaderboard)	3.23	0.70	0.78	0.66	5.04	0.57	0.70	0.51	4.99	0.57	0.68	0.51
-	-	-	-	-	-	-	-	4.99	0.57	0.95	0.02
Ours* (beam search) (leaderboard)	3.04	0.71	0.78	0.67	4.62	0.58	0.68	0.52	4.48	0.61	0.70	0.56

• Seen 및 unseen R2R 분할에서 최첨단 성능, unseen 테스트 세트에서 8% 절대 SR 개선.
• 공동 접지 프레임워크(시각 및 텍스트)가 두 모달리티에 대해 공유된 숨겨진 상태를 활용해 벤치마크를 크게 상회.
• 진행 모니터 정규화가 Seen 및 Unseen에서 SR를 개선하고 데이터 증강 없이도 이전 방법을 능가하는 데 결정적이다.
• 진행 추정을 통합한 빔 서치가 이전 빔 서치 기준선 대비 추가 이득을 주며, 특히 unseen에서.
• 텍스트 기반 어텐션은 시간에 따른 지시의 초점이 대각선처럼 진행되는 것을 보여 효과적인 지시-행동 접지를 시사.