[논문 리뷰] Embodied Vision-and-Language Navigation with Dynamic Convolutional Filters

Federico Landi, Lorenzo Baraldi외 2명|arXiv (Cornell University)|2019. 07. 05.

Multimodal Machine Learning Applications참고 문헌 26인용 수 16

한 줄 요약

이 논문은 고수준의 텔레포트레이션에 의존하지 않고, 저수준의 에이전트 우호적 동작(예: 회전, 전진)을 생성하기 위해 동적 컨볼루션 필터를 사용하는 새로운 몸체화된 시각-언어 탐색(VLN) 프레임워크를 제안한다. 언어 지시에 따라 주목을 기반으로 한 필터를 통해 관련 시각적 및 언어적 단서에 주목함으로써, R2R 벤치마크에서 최신 기술 수준(SoTA)의 성능을 달성하였으며, 이전의 저수준 동작 모델보다 성공률 15% 향상되고 최고의 고수준 모델과 동일한 SPL 성능을 기록하였다.

ABSTRACT

In Vision-and-Language Navigation (VLN), an embodied agent needs to reach a target destination with the only guidance of a natural language instruction. To explore the environment and progress towards the target location, the agent must perform a series of low-level actions, such as rotate, before stepping ahead. In this paper, we propose to exploit dynamic convolutional filters to encode the visual information and the lingual description in an efficient way. Differently from some previous works that abstract from the agent perspective and use high-level navigation spaces, we design a policy which decodes the information provided by dynamic convolution into a series of low-level, agent friendly actions. Results show that our model exploiting dynamic filters performs better than other architectures with traditional convolution, being the new state of the art for embodied VLN in the low-level action space. Additionally, we attempt to categorize recent work on VLN depending on their architectural choices and distinguish two main groups: we call them low-level actions and high-level actions models. To the best of our knowledge, we are the first to propose this analysis and categorization for VLN.

연구 동기 및 목표

• 고수준 동작 공간의 한계를 해결하기 위해, 이를 통해 에이전트 수준의 제어를 추상화하고 사전 지도 지식에 의존하는 문제를 해결한다.
• 실시간 시각적 및 언어적 입력에 기반해 원자적인 저수준 동작(예: 회전, 전진)을 생성하는 탐색 정책을 개발한다.
• 출력 공간 기반으로 새로운 VLN 모델 분류 체계를 제안한다 — 저수준 동작(에이전트 중심)과 고수준 동작(그래프 기반 텔레포트레이션)을 구분한다.
• 언어 지시에 기반해 관련 시각적 특징을 적응적으로 주목하는 동적 컨볼루션 필터를 활용하여 저수준 VLN의 성능을 향상시킨다.
• 에이전트가 환경을 인지하고 행동하는 역할을 유지함으로써 더 현실적이고 능동적이며 몸체화된 탐색을 가능하게 한다.

제안 방법

• 언어 지시와 정렬되는 주목 메커니즘을 통해 동적 컨볼루션 필터를 생성함으로써, 시각 관측치에서 선택적 특징 추출이 가능해진다.
• 이 필터들은 공간적으로 적응 가능하고 맥락 인식 기능을 지니며, 현재 탐색 목표에 관련된 이미지 영역에 집중한다.
• 정책 네트워크는 필터링된 특징을 처리하여 실시간으로 저수준 동작(예: 전진, 왼쪽, 오른쪽, 정지)의 시퀀스를 예측한다.
• 모델은 R2R 데이터셋에서 애니메이션 학습을 통해 엔드 투 엔드로 훈련되며, 전문가 트레이젝터리에서 유도된 지도 학습을 사용한다.
• 사전에 계산된 탐색 그래프나 시뮬레이터 제공의 뷰포인트 연결성에 의존하지 않아, 새로운 환경에 더 강건한 성능을 발휘한다.
• 동일한 출력 공간(저수준 vs. 고수준) 내에서 모델를 비교할 수 있도록 하는 새로운 평가 프로토콜을 도입하였다.

실험 결과

연구 질문

• RQ1 동적 컨볼루션 필터는 저수준 VLN에서 시각-언어 특징 정렬을 어떻게 향상시키는가?
• RQ2 동적 필터 기반 정책은 저수준 동작 공간 VLN에서 표준 컨볼루션 네트워크보다 성능이 뛰어나게 되는가?
• RQ3 공정한 비교 프레임워크 하에서 저수준과 고수준 동작 공간 모델 간의 성능 차이는 어떠한가?
• RQ4 최신 기술 수준의 고수준 동작 모델과 비교했을 때, 제안된 방법은 성공률과 SPL 측면에서 어떤가?
• RQ5 사전에 계산된 탐색 그래프나 텔레포트레이션에 의존하지 않고도 저수준 동작 정책이 경쟁 가능한 성능을 낼 수 있는가?

주요 결과

• 제안된 모델은 R2R 테스트 세트에서 이전의 저수준 동작 모델보다 성공률 15% 높게 기록하여 이 분야에서 새로운 최고 기록을 수립하였다.
• 고수준 동작 모델인 Speaker-Follower보다 SPL 측면에서 3% 높은 성능을 기록하여, 오직 저수준 동작만을 사용함에도 불구하고 강력한 일반화 능력을 입증하였다.
• 최고의 고수준 동작 모델(Ma et al., 2019a)과 SPL 측면에서 1% 이내로 성능이 유사하여 높은 경쟁력이 있음을 보여주었다.
• 제거 실험 결과 동적 필터가 표준 컨볼루션 대비 특징 선택 및 탐색 정확도를 크게 향상시킴을 확인하였다.
• 제안된 저수준 대비 고수준 동작 모델 분류 체계는 내부 카테고리 간 성능 변동성이 낮음을 드러내어 공정한 벤치마킹의 필요성을 뒷받침한다.
• 정성적 결과는 에이전트가 지시에 따라 관련 시각적 요소(예: 벽난로, 문구 등)를 정확히 식별하고 주목하며, 에피소드 간 일관된 동작 예측을 수행하고 있음을 보여주었다.