[논문 리뷰] A Dataset for Interactive Vision-Language Navigation with Unknown Command Feasibility

Andrea Burns, Deniz Arsan외 4명|arXiv (Cornell University)|2022. 02. 04.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 이동형 앱 환경에서 실행 가능한 명령어와 실행 불가능한 자연어 명령어를 모두 포함하며, 정교한 실행 가능성 주석과 후속 질문을 수반하는 새로운 시각-언어 탐색 데이터셋 MoTIF를 소개한다. 이는 상호작용적 실행 가능성 예측이라는 새로운 과제를 제안하며, 정확도에 있어 시각적 이해의 중요성을 입증하고 최신 기법들을 벤치마킹하여 새로운 앱 환경에서의 일반화 문제를 드러낸다.

ABSTRACT

Vision-language navigation (VLN), in which an agent follows language instruction in a visual environment, has been studied under the premise that the input command is fully feasible in the environment. Yet in practice, a request may not be possible due to language ambiguity or environment changes. To study VLN with unknown command feasibility, we introduce a new dataset Mobile app Tasks with Iterative Feedback (MoTIF), where the goal is to complete a natural language command in a mobile app. Mobile apps provide a scalable domain to study real downstream uses of VLN methods. Moreover, mobile app commands provide instruction for interactive navigation, as they result in action sequences with state changes via clicking, typing, or swiping. MoTIF is the first to include feasibility annotations, containing both binary feasibility labels and fine-grained labels for why tasks are unsatisfiable. We further collect follow-up questions for ambiguous queries to enable research on task uncertainty resolution. Equipped with our dataset, we propose the new problem of feasibility prediction, in which a natural language instruction and multimodal app environment are used to predict command feasibility. MoTIF provides a more realistic app dataset as it contains many diverse environments, high-level goals, and longer action sequences than prior work. We evaluate interactive VLN methods using MoTIF, quantify the generalization ability of current approaches to new app environments, and measure the effect of task feasibility on navigation performance.

연구 동기 및 목표

• 실제 세계의 요청이 모호하거나 불가능할 수 있음에도 불구하고 명령어가 실행 가능하다고 가정하는 시각-언어 탐색 연구의 격차를 보완하기 위해.
• 탭, 입력, 스와이프와 같은 복잡하고 상태를 변경하는 동작을 수반하는 모바일 앱을 활용한 상호작용적 시각-언어 탐색을 위한 확장 가능한 현실적인 데이터셋을 만들기 위해.
• 다중모odal이고 상호작용적인 환경에서의 실행 가능성 예측 문제를 새롭게 제안하고 벤치마크를 제공하기 위해.
• 새로운 앱 환경에서 VLN 기법의 일반화 능력을 평가하고, 작업의 실행 가능성 여부가 탐색 성능에 미치는 영향을 분석하기 위해.
• 모호하거나 실행 불가능한 작업에 대한 불확실성 해결을 위해 후속 질문을 활용한 연구를 가능하게 하기 위해.

제안 방법

• MoTIF 데이터셋은 여러 모바일 앱 환경에서 자연어 명령어, 앱 화면 이미지, 뷰 계층 구조(백엔드 구조), 동작 좌표(클릭, 탭, 스크롤, 텍스트 입력)를 수집한다.
• 각 명령어는 이진 실행 가능성 레이블과 함께, 실행 불가능한 이유를 설명하는 서브클래스 주석(예: 기능 부족, 언어 모호성, 상태 의존성 등)이 함께 제공된다.
• 불확실성 해결을 위한 인간과 유사한 대화를 모델링하기 위해 후속 질문을 수집한다.
• 다중모달 입력(시각 및 언어)을 사용하여 명령어 실행 가능성 여부를 분류하는 실행 가능성 예측을 위한 기초 모델을 제안한다.
• 기존 VLN 기법들(Sequence-to-Sequence, MOCA, Seq2Act)을 MoTIF에서 작업 자동화를 위해 평가하며, 고수준 목표와 저수준 지침이 있는지 여부에 따라 성능을 비교한다.
• 시각, 언어, 앱 탐색의 역할을 평가하기 위한 광범위한 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 모바일 앱 환경에서 자연어 명령어가 모호하거나 필요한 기능이 없을 경우에도, 시각-언어 모델이 명령어의 실행 가능성을 정확히 예측할 수 있는가?
• RQ2 고수준 목표, 저수준 지침, 시각 입력 등의 다양한 입력 모odal이 새로운 앱 환경에서 VLN 모델의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 작업의 실행 가능성 여부가 탐색 성능에 어느 정도의 영향을 미치며, 실행 불가능한 명령어를 마주했을 때 모델은 어떻게 실패하는가?
• RQ4 후속 질문은 모호하거나 실행 불가능한 명령어의 불확실성을 효과적으로 해결할 수 있으며, 이를 통해 모델의 견고성이 어떻게 향상되는가?
• RQ5 MoTIF의 다양한 도전 과제를 지닌 테스트 세트에서, 기존 VLN 기법들이 새로운 앱 환경으로의 일반화 능력이 얼마나 잘 되어 있는가?

주요 결과

• 정확한 실행 가능성 예측을 위해서는 시각 입력이 필수적이다. 시각적 특징을 사용하지 않고 언어나 앱 아이콘만으로 예측하는 모델보다 다중모달 시각적 특징을 사용하는 모델이 성능이 뛰어나다.
• 실행 가능성 예측에서 가장 높은 성능을 보인 모델은 새로운 앱에서 51.1%의 완전한 시퀀스 정확도와 21.3%의 기준 정확도를 기록했으며, 향후 개선 여지가 크다는 것을 시사한다.
• 모델은 새로운 작업보다는 새로운 앱 환경으로의 일반화 능력이 훨씬 떨어지며, 이는 제로샷 앱 일반화의 핵심 과제임을 보여준다.
• 저수준의 단계별 지침은 고수준 목표만 있는 경우보다 행동 정확도와 기준 정확도가 크게 향상된다(예: Seq2Act를 사용할 경우 행동 정확도 97.3%).
• 고수준과 저수준 지침을 모두 제공하더라도, 새로운 앱에서 성능이 저하되며, 이는 훈련 중에 더 많은 내부 탐색이 필요함을 시사한다.
• 이전에 앱 전용 표현 학습(예: 앱 아이콘 사용)을 통해 얻은 특징이 가장 높은 성능을 내지 못함을 확인했으며, 이는 도메인 특화된 특징보다는 시각적 이해의 중요성을 강조한다.