[논문 리뷰] The Regretful Agent: Heuristic-Aided Navigation through Progress Estimation

Chih‐Yao Ma, Zuxuan Wu외 3명|arXiv (Cornell University)|2019. 03. 05.

Multimodal Machine Learning Applications참고 문헌 27인용 수 14

한 줄 요약

이 논문은 빈티지 에이전트를 제안하며, 비용이 많이 드는 빔 서치의 부담을 줄이기 위해 탐색을 이끄는 가용한 진행도 모니터를 학습 가능한 히우리스틱으로 사용한다. 동적 백트래킹을 위한 레그레트 모듈과 저성과 상태의 재방문을 줄이기 위한 프로그레스 마커를 도입하여, 테스트 서버에서 최신 기술 대비 5% 높은 성공률과 8% 높은 SPL 성능을 달성한다.

ABSTRACT

As deep learning continues to make progress for challenging perception tasks, there is increased interest in combining vision, language, and decision-making. Specifically, the Vision and Language Navigation (VLN) task involves navigating to a goal purely from language instructions and visual information without explicit knowledge of the goal. Recent successful approaches have made in-roads in achieving good success rates for this task but rely on beam search, which thoroughly explores a large number of trajectories and is unrealistic for applications such as robotics. In this paper, inspired by the intuition of viewing the problem as search on a navigation graph, we propose to use a progress monitor developed in prior work as a learnable heuristic for search. We then propose two modules incorporated into an end-to-end architecture: 1) A learned mechanism to perform backtracking, which decides whether to continue moving forward or roll back to a previous state (Regret Module) and 2) A mechanism to help the agent decide which direction to go next by showing directions that are visited and their associated progress estimate (Progress Marker). Combined, the proposed approach significantly outperforms current state-of-the-art methods using greedy action selection, with 5% absolute improvement on the test server in success rates, and more importantly 8% on success rates normalized by the path length. Our code is available at https://github.com/chihyaoma/regretful-agent .

연구 동기 및 목표

• 실세계 로봇 공학에 비추어 볼 때, 빈티지 탐색의 비효율성 문제를 해결하기 위해 빔 서치의 비현실적인 계산 비용을 해결하는 것.
• 학습된 백트래킹 및 진행도 추정을 통합하여 그레디 액션 선택을 효과적으로 수행할 수 있도록 하는 것.
• 과거 방문 기록과 진행도 추정치를 기억함으로써 재탐색을 줄여 성공률과 경로 효율성을 향상시키는 것.
• 빔 서치 없이도 기존 그레디 방법보다 뛰어난 성능을 보이는 종단간 훈련 가능한 아키텍처를 개발하는 것.

제안 방법

• 에이전트는 이전 연구에서 유래한 학습 가능한 진행도 모니터를 히우리스틱으로 사용하여 목표 지점에 가까운 정도를 추정하며, 높은 값일수록 더 좋은 진행도를 의미한다.
• 레그레트 모듈은 시각적 및 텍스트 기록을 기반으로 언제 백트래킹할지를 학습하여 고정된 임계값을 대체한다.
• 프로그레스 마커 메커니즘은 과거의 진행도 추정치를 시각 상태 벡터에 추가하여 저성과 위치의 재방문을 억제한다.
• 행동 선택을 위한 조밀한 지도를 제공하는 진행도 모니터를 사용하여 종단간 훈련을 수행한다.
• 백트래킹 결정은 미분 가능하여, 경사 하강법을 통해 네트워크가 최적의 롤백 타이밍을 학습할 수 있다.
• 추론 중에 그레디 디코딩을 사용하여 빔 서치의 지수적 비용을 피하면서도 높은 성능을 유지한다.

실험 결과

연구 질문

• RQ1 진행도 추정 기반의 학습 가능한 히우리스틱이 시각-언어 작업에서 그레디 탐색을 향상시킬 수 있는가?
• RQ2 에이전트는 어떻게 죽은 길에 갇히지 않도록 백트래킹할 시기를 학습할 수 있는가?
• RQ3 과거 방문 기록과 그 진행도 추정치를 통합함으로써 재탐색을 줄일 수 있는가?
• RQ4 진행도 모니터를 히우리스틱으로 사용하면 그레디 기반 모델 대비 더 높은 성공률과 경로 효율성을 달성할 수 있는가?

주요 결과

• 제안된 에이전트는 빔 서치를 사용하는 최신 기술 대비 테스트 서버에서 성공률이 5%p 높아졌다.
• 성공률과 경로 효율성을 균형 잡은 지표인 SPL(Success-Precision-Length)에서 8%p 높은 성능을 달성했다.
• 프로그레스 마커와 레그레트 모듈을 통해 재탐색을 피하는 전략을 학습함으로써, 그레디 기반 모델을 능가하는 성능을 보였다.
• 절단 분석 결과, 레그레트 모듈과 프로그레스 마커 모두 성능 향상에 기여하는 중요한 요소임을 확인했다.
• 진행도 모니터를 활용해 백트래킹 및 유망한 경로 재진입을 유도함으로써, 모호한 지시어를 성공적으로 처리했다.
• 실패 사례 분석 결과, 잘못된 백트래킹 결정(비록 드물게 발생하나)은 실패로 이어질 수 있으며, 이는 정확한 레그레트 예측의 중요성을 강조한다.