[논문 리뷰] Scene-Intuitive Agent for Remote Embodied Visual Grounding

Xiangru Lin, Guanbin Li외 1명|arXiv (Cornell University)|2021. 03. 24.

Multimodal Machine Learning Applications참고 문헌 46인용 수 4

한 줄 요약

이 논문은 REVERIE 작업에서 원거리 신체적 시각 기반을 위한 시점에 민감한 에이전트를 제안하며, 두 단계의 훈련 파이프라인을 사용한다: 먼저 시점 및 물체 기반 작업에서 사전 훈련하여 고수준 지시어 이해 능력을 학습하고, 그 다음 메모리 보강된 주의 기반 행동 디코더를 활용해 탐색 정책을 생성한다. 이 방법은 최신 기술 수준의 성능을 달성하여 기존 연구 대비 Val Seen에서 SPL을 11.58% 향상시키고 Val Unseen에서 9.09% 향상시켰다.

ABSTRACT

Humans learn from life events to form intuitions towards the understanding of visual environments and languages. Envision that you are instructed by a high-level instruction, "Go to the bathroom in the master bedroom and replace the blue towel on the left wall", what would you possibly do to carry out the task? Intuitively, we comprehend the semantics of the instruction to form an overview of where a bathroom is and what a blue towel is in mind; then, we navigate to the target location by consistently matching the bathroom appearance in mind with the current scene. In this paper, we present an agent that mimics such human behaviors. Specifically, we focus on the Remote Embodied Visual Referring Expression in Real Indoor Environments task, called REVERIE, where an agent is asked to correctly localize a remote target object specified by a concise high-level natural language instruction, and propose a two-stage training pipeline. In the first stage, we pretrain the agent with two cross-modal alignment sub-tasks, namely the Scene Grounding task and the Object Grounding task. The agent learns where to stop in the Scene Grounding task and what to attend to in the Object Grounding task respectively. Then, to generate action sequences, we propose a memory-augmented attentive action decoder to smoothly fuse the pre-trained vision and language representations with the agent's past memory experiences. Without bells and whistles, experimental results show that our method outperforms previous state-of-the-art(SOTA) significantly, demonstrating the effectiveness of our method.

연구 동기 및 목표

• 실내 환경에서 고수준 자연어 지시어를 사용해 원거리 물체를 탐색하고 국소화하는 데 도전하는 것.
• 일상 지식과 시각적 맥락을 바탕으로 '어디로 가야 하는지'와 '무엇에 주목해야 하는지'를 인간의 직관처럼 추론하는 에이전트를 설계하는 것.
• 기존의 세밀한 지시어로 훈련된 모델의 한계를 극복하고, 새로운 환경에서의 일반화 능력과 탐색 효율성을 향상시키는 것.
• 시각-언어 정렬을 사전 훈련한 후 종단 간 정책 학습을 수행하는 두 단계 훈련 프레임워크를 개발하는 것.

제안 방법

• 두 단계 훈련 파이프라인 제안: 시점 기반 및 물체 기반 작업에서 사전 훈련한 후, 메모리 보강된 디코더를 사용한 행동 디코딩을 수행한다.
• 고수준 지시어와 일치하는 올바른 시점(뷰포인트)을 식별하기 위해 교차 모odal 대비 학습을 사용하는 시점 기반 작업 도입.
• 특정 시점에서 후보 물체 중 목표 물체를 국소화하기 위해 시각적 특징의 관련성에 주목하도록 향상시키는 물체 기반 작업 도입.
• 시각적 특징, 언어 표현, 순환 메모리 상태를 융합하여 행동 시퀀스를 생성하는 메모리 보강된 주의 기반 행동 디코더 활용.
• 교차 엔트로피, 정책 기반 강화 학습, 강화 학습 목표를 조합한 다중 과제 손실을 사용해 탐색과 기반을 함께 최적화한다.
• ViLBERT 기반 인코더를 사용해 시각-언어 표현을 공동 학습하며, 로짓 융합을 통해 기반 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 시점 및 물체 기반 작업에서의 사전 훈련이 고수준 지시어 기반 탐색에서 제로샷 일반화 능력을 향상시키는가?
• RQ2 메모리 보강된 주의를 통합함으로써 모호한 고수준 지시어 하에서 장거리 탐색 성능이 향상되는가?
• RQ3 제안된 방법이 REVERIE 벤치마크에서 성공률과 경로 효율성 측면에서 기존 최신 기술 수준 모델을 얼마나 뛰어나게 하는가?
• RQ4 기반된 시각적 및 언어적 표현과 메모리 상태의 융합이 더 강력하고 정확한 목표 국소화를 이끌어내는가?

주요 결과

• 기존 최신 기술 수준 대비 제안된 방법은 Val Seen에서 SPL을 11.58% 향상시키고, Val Unseen에서는 9.09% 향상시켰다.
• RG SPL 측면에서 Val Seen에서는 12.99% 향상되고 Val Unseen에서는 6.89% 향상되어 더 높은 국소화 정확도와 탐색 성공률을 보였다.
• 물체 기반 모델은 이전 최신 기술 수준 대비 정확도에서 10% 이상 높은 성능을 기록하여 강력한 교차 모달 정렬 능력을 입증했다.
• 시점 기반 모델은 고수준 공간 지시어를 추론하는 데 있어 높은 정확도를 달성하여 올바른 목표 시점 식별 능력을 입증했다.
• 메모리 보강된 행동 디코더는 평균 탐색 경로 길이를 줄였으며, 특히 장거리 경로에서 높은 성공률 유지에 기여했다.
• 실험 결과, 여러 헤드(g_{sg}, g_{og}, 및 l_{τ})의 가이던스를 합산함으로써 목표 탐색의 강건성과 편향 감소가 향상됨을 확인했다.