[논문 리뷰] REVERIE: Remote Embodied Visual Referring Expression in Real Indoor Environments

Yuankai Qi, Qi Wu외 5명|arXiv (Cornell University)|2019. 04. 23.

Multimodal Machine Learning Applications참고 문헌 46인용 수 14

한 줄 요약

이 논문은 실제 실내 환경에서 원격 몸체 시각적 언어 지칭 표현을 위한 새로운 벤치마크인 REVERIE를 소개한다. 에이전트는 자연어 지시에 따라 목표 물체로 이동하고 3D 환경에서 그 물체를 정확히 특정해야 한다. 제안된 인터랙티브 내비게이터-포인터 모델은 테스트 분할에서 16.18%의 성공률을 기록했으며, 기존 베이스라인을 크게 앞서나가지만 여전히 인간 성능(77.84%)에 크게 못 미치며, 새로운 환경에서 탐색과 언어 지칭 표현을 통합하는 데 있어 큰 과제가 있음을 시사한다.

ABSTRACT

One of the long-term challenges of robotics is to enable robots to interact with humans in the visual world via natural language, as humans are visual animals that communicate through language. Overcoming this challenge requires the ability to perform a wide variety of complex tasks in response to multifarious instructions from humans. In the hope that it might drive progress towards more flexible and powerful human interactions with robots, we propose a dataset of varied and complex robot tasks, described in natural language, in terms of objects visible in a large set of real images. Given an instruction, success requires navigating through a previously-unseen environment to identify an object. This represents a practical challenge, but one that closely reflects one of the core visual problems in robotics. Several state-of-the-art vision-and-language navigation, and referring-expression models are tested to verify the difficulty of this new task, but none of them show promising results because there are many fundamental differences between our task and previous ones. A novel Interactive Navigator-Pointer model is also proposed that provides a strong baseline on the task. The proposed model especially achieves the best performance on the unseen test split, but still leaves substantial room for improvement compared to the human performance.

연구 동기 및 목표

• 비알려진 실내 환경에서 로봇이 고수준의 자연어 지시를 이해하고 실행할 수 있도록 하는 데 도전한다.
• 실제 3D 환경에서의 시각적 탐색과 정확한 물체 특정 능력을 평가할 수 있는 벤치마크를 구축한다.
• 기존의 시각-언어 모델이 복잡하고 원격적이며 몸체화된 지칭 작업에 적용되었을 때의 한계를 조사한다.
• 탐색과 지칭 표현을 공동 최적화하는 새로운 인터랙티브 프레임워크를 제안한다.

제안 방법

• REVERIE 데이터셋은 Matterport3D 시뮬레이터 기반으로 구축되었으며, 90개의 건물에 걸쳐 총 10,567장의 파노라마와 4,140개의 객체 레이블이 포함되어 있다.
• 각 지시문은 시작 시점에서 보이지 않는 원격 객체를 지칭하므로, 새로운 위치로 이동하여 특정해야 한다.
• 제안된 새로운 인터랙티브 내비게이터-포인터 모델은 추론 과정에서 내비게이터 모듈과 포인터 모듈 간의 동적 상호작용을 통해 정확도를 향상시킨다.
• 모델은 크로스 어텐션 메커니즘을 사용하여 포인터가 내비게이터의 경로에 조건을 부여하고, 반대로 내비게이터가 포인터의 출력에 영향을 미치도록 하여 공동 최적화를 가능하게 한다.
• 베이스라인으로는 시퀀스-투-시퀀스 모델, 최단경로 기반 모델, 최신 탐색 모델(Fast)과 지칭 표현 모델(MAttNet)의 조합이 포함되어 있다.
• 평가에서는 본 적 있는 분할과 본 적 없는 분할을 모두 대상으로 하며, 탐색 후 정확한 물체 경계 상자 예측 여부로 성공 여부를 측정한다.

실험 결과

연구 질문

• RQ1 기존의 시각-언어 모델은 비알려진 실내 환경에서 원격 몸체 시각적 지칭 표현 작업에 일반화될 수 있는가?
• RQ2 시각적 탐색과 지칭 표현을 병합한 경우, 개별적으로 수행하는 작업과 비교해 성능에 어떤 영향을 미치는가?
• RQ3 언어 입력만으로도 REVERIE 작업을 해결할 수 있는가? 이는 데이터셋에 언어적 편향이 존재할 가능성을 시사한다.
• RQ4 탐색 모듈과 지칭 표현 모듈 간의 상호작용 학습이 전체 성능에 어떤 영향을 미치는가?
• RQ5 현재의 모델 성능은 복잡한 실제 환경에서의 탐색 및 특정 작업에서 인간 수준의 성능과 얼마나 떨어져 있는가?

주요 결과

• 랜덤 베이스라인은 단지 1%의 성공률을 기록하여, 이 작업이 매우 크고 복잡한 솔루션 공간을 가짐을 시사한다.
• 최신 탐색 모델과 지칭 표현 모델을 조합한 결과는 본 적 없는 테스트 분할에서 7.07%의 성공률을 기록했으며, 인간 성능(77.84%)에 크게 못 미친다.
• 제안된 인터랙티브 내비게이터-포인터 모델은 테스트 분할에서 16.18%의 성공률을 기록했으며, 비상호작용 버전보다 4.2% 향상된 성능을 보였다.
• 지칭 표현 전용 베이스라인 모델은 테스트 분할에서 48.98%의 정확도를 기록했지만 여전히 인간 성능보다 41.78% 낮아, 이 작업의 본질적 곤란함을 보여준다.
• 언어 전용 모델은 성능이 열악했으며(예: 본 적 있는 분할에서 16.18%), 이는 시각적 특정이 필수적임을 보이며, 데이터셋이 언어적 단서에 편향되어 있지 않음을 시사한다.
• 본 적 없는 분할에서 탐색 성능이 이전의 R2R 벤치마크 대비 30% 감소한 것으로 관측되어, 이 작업의 난이도가 높다는 점을 확인한다.