[논문 리뷰] Towards Versatile Embodied Navigation

Hanqing Wang, Wei Liang외 2명|arXiv (Cornell University)|2022. 10. 30.

Multimodal Machine Learning Applications인용 수 10

한 줄 요약

이 논문은 연속적이고 청각·시각적으로 rich한 환경에서 이미지목표, 청각목표, 물체목표, 시각언어내비게이션의 4가지 다중모odal 내비게이션 작업을 지원하는 대규모 3D 데이터셋 VXN을 소개한다. 이를 통해 전체주의 메커니즘을 사용하는 통합 파싱-질의 프레임워크를 통해 모든 작업을 동시에 학습하는 유연한 몸체적 에이전트인 Vienna를 제안하며, 전용 에이전트에 비해 모델 복잡도가 감소하고 일반화 능력이 향상된 성능을 달성한다.

ABSTRACT

With the emergence of varied visual navigation tasks (e.g, image-/object-/audio-goal and vision-language navigation) that specify the target in different ways, the community has made appealing advances in training specialized agents capable of handling individual navigation tasks well. Given plenty of embodied navigation tasks and task-specific solutions, we address a more fundamental question: can we learn a single powerful agent that masters not one but multiple navigation tasks concurrently? First, we propose VXN, a large-scale 3D dataset that instantiates four classic navigation tasks in standardized, continuous, and audiovisual-rich environments. Second, we propose Vienna, a versatile embodied navigation agent that simultaneously learns to perform the four navigation tasks with one model. Building upon a full-attentive architecture, Vienna formulates various navigation tasks as a unified, parse-and-query procedure: the target description, augmented with four task embeddings, is comprehensively interpreted into a set of diversified goal vectors, which are refined as the navigation progresses, and used as queries to retrieve supportive context from episodic history for decision making. This enables the reuse of knowledge across navigation tasks with varying input domains/modalities. We empirically demonstrate that, compared with learning each visual navigation task individually, our multitask agent achieves comparable or even better performance with reduced complexity.

연구 동기 및 목표

• 복잡한 3D 환경에서 다중작업, 다중모달 몸체 내비게이션을 위한 통합 벤치마크의 부족을 해결하기 위해.
• 이미지목표, 청각목표, 물체목표, 시각언어내비게이션의 다양한 내비게이션 작업을 동시에 수행할 수 있는 단일 에이전트 개발을 위해.
• 몸체형 인공지능에서 다중작업 학습을 통해 교차작업 지식 전이 및 모델 복잡도 감소를 탐색하기 위해.
• 장거리 내비게이션에서 다중모달 인식 및 통합 질의 기반 추론의 효과성을 조사하기 위해.
• 단일 유연한 에이전트가 다양한 내비게이션 모odalities에서 전용 에이전트를 능가하거나 동등하게 성능을 내는지 입증하기 위해.

제안 방법

• 지속적이고 감각적으로 rich하며 청각적으로 현실적인 실내 환경에서 네 가지 전통적인 내비게이션 작업을 표준화하는 대규모 3D 데이터셋 VXN을 제안한다.
• 다중감각 입력과 에피소드 기록을 동시에 인코딩하는 전체주의 메커니즘을 사용한 풀-어텐션 트랜스포머 인코더-디코더 아키텍처 기반의 유연한 몸체 내비게이션 에이전트인 Vienna를 설계한다.
• 통합된 파싱-질의 메커니즘 도입: 목표 기술(이미지, 청각, 텍스트, 클래스)은 작업별 고유 벡터와 함께 임bedding되며, 다양화된 목표 질의로 파싱된다.
• 이러한 질의를 사용해 에피소드 기록에서 지원적 맥락을 공유 디코더를 통해 검색함으로써, 다양한 모odal 간 교차작업 지식 재사용이 가능해진다.
• 성공, 진전, 여유, 탐색을 통합한 복합 보상 함수를 포함하는 다중작업 학습 목표를 사용하여 정책 학습을 유도한다.
• 작업별 이해도 향상과 일반화 능력 향상을 위해 타깃 임베딩에 네 가지 학습 가능한 작업 임베딩(τ_I, τ_A, τ_T, τ_L)을 추가한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크 내에서 단일 에이전트가 동시에 여러 시각 내비게이션 작업(이미지목표, 청각목표, 물체목표, 시각언어내비게이션)을 마스터할 수 있는가?
• RQ2 다중작업 몸체 내비게이션에서 교차작업 지식 전이가 성능 향상과 모델 복잡도 감소에 얼마나 효과적인가?
• RQ3 단일모달 입력에 비해 다중모달 인식(RGB, 깊이, 청각)이 내비게이션 성능 향상에 얼마나 기여하는가?
• RQ4 다양화된 목표 벡터를 사용한 제안된 파싱-질의 메커니즘이 작업 간 추론 및 일반화 능력을 얼마나 향상시키는가?
• RQ5 여러 작업을 동시에 학습하는 것이 개별 작업 또는 부분 집합으로 학습하는 것보다 보다 나은 일반화 능력을 갖는가?

주요 결과

• Vienna는 모든 네 가지 내비게이션 작업에서 최신 기술 수준의 성능를 달성하였으며, 미리보지 않은 분할에서 시각언어내비게이션의 성공률이 26.5%로, 단일작업 모델를 능가하였다.
• 다중작업 에이전트는 모델 크기를 101M에서 31M 파rameter로 감소시켜, 파rameter 공유를 통한 뚜렷한 효율성 향상을 입증하였다.
• 다중모달 융합(RGBD + 청각)은 성능 향상에 크게 기여하였으며, 청각은 내비게이션 정확도를 향상시키는 보완적 단서를 제공하였다.
• N=7의 질의 헤드를 사용한 다각적 타깃 파싱이 최고의 성능를 기록하였으며, 동일한 목표에 대한 다수의 해석 방식이 유의미한 이점을 제공한다는 것을 확인하였다.
• 제거 실험 결과, 다중감각 통합, 작업 보강 임베딩, 다각적 파싱, 복합 보상 등 각 구성 요소가 전체 성능 향상에 기여한다는 것이 확인되었다.
• 네 가지 작업을 동시에 학습하는 것이 개별 작업이나 부분 집합으로 학습하는 것보다 보다 나은 일반화 능력을 갖는다.