[논문 리뷰] Evolving Graphical Planner: Contextual Global Planning for Vision-and-Language Navigation

Zhiwei Deng, Karthik Narasimhan외 1명|arXiv (Cornell University)|2020. 07. 11.

Multimodal Machine Learning Applications참고 문헌 53인용 수 14

한 줄 요약

이 논문은 원시 감각 입력에서 동적으로 그래픽 맵을 구성하고 가용성 있는 프oxy 그래프 표현을 통해 글로벌 플래닝을 수행하는 시각-언어 탐색 에이전트인 Evolving Graphical Planner(EGP)를 제안한다. 순수 인식 학습을 통해 EGP는 이전 방법들보다 최대 5% 높은 53%의 성공률을 달성하며, 강화 학습 없이도 민첩하고 맥락 인식 가능한 의사결정 및 효율적인 장거리 플래닝을 가능하게 한다.

ABSTRACT

The ability to perform effective planning is crucial for building an instruction-following agent. When navigating through a new environment, an agent is challenged with (1) connecting the natural language instructions with its progressively growing knowledge of the world; and (2) performing long-range planning and decision making in the form of effective exploration and error correction. Current methods are still limited on both fronts despite extensive efforts. In this paper, we introduce the Evolving Graphical Planner (EGP), a model that performs global planning for navigation based on raw sensory input. The model dynamically constructs a graphical representation, generalizes the action space to allow for more flexible decision making, and performs efficient planning on a proxy graph representation. We evaluate our model on a challenging Vision-and-Language Navigation (VLN) task with photorealistic images and achieve superior performance compared to previous navigation architectures. For instance, we achieve a 53% success rate on the test split of the Room-to-Room navigation task through pure imitation learning, outperforming previous navigation architectures by up to 5%.

연구 동기 및 목표

• 부분 관측 조건 하에서 장거리 및 맥락 인식 가능한 플래닝에 도전하는 것.
• 복잡한 새로운 3D 환경에서 국소 제어 정책과 규칙 기반 탐색 알고리즘의 한계를 극복하는 것.
• 확장 가능한 종단 간 미분 가능한 프레임워크를 사용해 효과적인 글로벌 액션 선택과 오류 수정을 가능하게 하는 것.
• 강화 학습을 피하면서도 인식 학습과 그래프 보강된 감독을 통해 높은 성능을 유지하는 학습 프레임워크를 개발하는 것.
• 전체 지형도가 아닌 프록시 그래프를 사용해 계산 비용을 줄이는 메모리 효율적인 플래닝 메커니즘을 설계하는 것.

제안 방법

• 온라인 탐색 중에 방문한 상태를 위한 이산 기호와 미탐색된 동작을 사용해 환경의 그래픽 맵을 동적으로 구축한다.
• 전체 지도의 국소적 근사치인 프록시 그래프를 도입하여 고비용의 시간 또는 메모리 소비 없이도 확장 가능한 플래닝을 가능하게 한다.
• 자연어 지시에 기반해 맥락 조건이 부여된 풍부한 액션 공간에서 액션을 선택하는 글로벌 플래닝 모듈을 활용한다.
• 최단 경로 감독 대신 그래프 보강된 감독을 사용해 정책을 종단 간 엔드포인트으로 학습시킨다.
• 장거리 의존성을 모델링하기 위해 학습 가능한 그래프 차원(256)과 멀티헤드 어텐션을 사용한 top-K 액션 선택 전략을 적용한다.
• 내비게이션 중에 백트래킹과 경로 수정을 지원하는 진화하는 그래프 표현을 유지한다.

실험 결과

연구 질문

• RQ1 시각-언어 탐색 에이전트가 원시 시각 입력과 자연어 지시만으로 효과적인 글로벌 플래닝을 수행할 수 있는가?
• RQ2 실시간 내비게이션에서 동적으로 커지는 큰 지도에 대해 확장 가능하고 효율적인 플래닝 메커니즘을 어떻게 설계할 수 있는가?
• RQ3 강화 학습이나 지형도 기반 사전 학습 없이도 인식 학습만으로도 높은 성능의 글로벌 플래닝을 달성할 수 있는가?
• RQ4 프록시 그래프와 전체 지형도를 사용할 경우 플래닝 효율성과 내비게이션 성공률에 어떤 영향을 미치는가?
• RQ5 그래프 보강된 감독은 내비게이션 작업에서 일반화 능력과 전문가 트래잭터리와의 일치도를 어떻게 향상시키는가?

주요 결과

• EGP는 순수 인식 학습만을 사용해 Room-to-Room 테스트 분할에서 53%의 성공률를 달성하며, 이는 이전 방법들보다 최대 5% 높은 성능이다.
• Room-for-Room 벤치마크에서 EGP는 44.4 CLS 점수, 37.4 nDTW, 17.5 SDTW를 기록했으며, 민감도 중심 지표에서 이전 모든 방법보다 4.9~7.0점 높은 성능을 보였다.
• 글로벌 플래닝을 사용함에도 불구하고 상대적으로 짧은 경로 길이(18.3)를 유지하여, 규칙 기반 글로벌 탐색 알고리즘에서 흔히 발생하는 장거리 경로를 피했다.
• 제거 실험 결과 그래프 보강된 감독과 프록시 그래프 사용이 최단 경로 감독과 전체 그래프 플래닝에 비해 성능 향상에 크게 기여하는 것으로 확인되었다.
• 강화 학습 없이도 순수 인식 학습을 사용함에도 불구하고 EGP는 Speaker-Follower 및 PTA 에이전트와 같은 최첨단 모델들을 능가하는 성능을 보였다.
• 종단 간 학습을 통해 글로벌 액션 공간과 동적 그래픽 표현을 활용하면 오류 수정 능력과 장거리 추론 능력이 향상됨을 입증했다.