[논문 리뷰] LEBP -- Language Expectation & Binding Policy: A Two-Stream Framework for Embodied Vision-and-Language Interaction Task Learning Agents

Haoyu Liu, Yang Liu외 2명|arXiv (Cornell University)|2022. 03. 09.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

LEBP는 몸체화된 시각-언어 작업을 위한 이중 스트림 프레임워크를 제안하며, 행동에 바인딩하기 이전에 언어 기반 작업 예측(예: '사과를 집어')을 생성함으로써 해석 가능성과 일반화 능력을 향상시킵니다. ALFRED에서 경쟁적인 성능을 달성했으며, 미사용 환경에서 3.99%의 절대 SR 향상과 본래의 환경에서의 성능 저하 감소를 기록했습니다.

ABSTRACT

People always desire an embodied agent that can perform a task by understanding language instruction. Moreover, they also want to monitor and expect agents to understand commands the way they expected. But, how to build such an embodied agent is still unclear. Recently, people can explore this problem with the Vision-and-Language Interaction benchmark ALFRED, which requires an agent to perform complicated daily household tasks following natural language instructions in unseen scenes. In this paper, we propose LEBP -- Language Expectation and Binding Policy Module to tackle the ALFRED. The LEBP contains a two-stream process: 1) It first conducts a language expectation module to generate an expectation describing how to perform tasks by understanding the language instruction. The expectation consists of a sequence of sub-steps for the task (e.g., Pick an apple). The expectation allows people to access and check the understanding results of instructions before the agent takes actual actions, in case the task might go wrong. 2) Then, it uses the binding policy module to bind sub-steps in expectation to actual actions to specific scenarios. Actual actions include navigation and object manipulation. Experimental results suggest our approach achieves comparable performance to currently published SOTA methods and can avoid large decay from seen scenarios to unseen scenarios.

연구 동기 및 목표

• 실행 전 언어 지시어를 이해하고 계획할 수 있는 몸체화된 에이전트를 개발하여 인간이 작업 의도를 모니터링할 수 있도록 하는 것.
• 학습 환경의 시각적 세부 정보(예: 질감, 카메라 각도)에 과적합되지 않도록 하여 본래 환경에서의 성능 저하를 줄이는 것.
• 언어 기반 예측을 통해 에이전트의 내부 작업 계획을 하위 단계의 시퀀스로 노출시켜 인간-로봇 상호작용의 해석 가능성 향상.
• 학습 시나리오에서의 시각적 세부 정보에 대한 과적합을 최소화하여 일반화 능력 향상.
• 환경 사전 지식과 공간적 구조를 계획 과정에 통합할 수 있도록 하는 것.

제안 방법

• 언어 기대 모듈은 자연어 지시어를 고수준의 하위 단계(예: '테이블로 이동', '사과를 집기')의 시퀀스로 디코딩하여 에이전트의 내부 계획을 표현함.
• 바인딩 정책 모듈은 현재의 시각적 및 장면 맥락에 기반하여 기대의 각 하위 단계를 구체적인 이동 및 물체 조작 행동으로 매핑함.
• 이중 스트림 아키텍처를 사용함: 한 스트림은 언어를 처리하여 기대를 생성하고, 다른 스트림은 실시간 시나리오에서 기대를 행동으로 매핑함.
• ALFRED 벤치마크의 전문가 시연 데이터를 사용하여 교차 어텐션 메커니즘과 지도 학습을 통해 엔드 투 엔드로 모델을 훈련함.
• 절단 실험에서는 시각적 인식 모듈의 영향을 분리하기 위해 진짜 깊이 및 세그멘테이션 맵을 사용함.
• 언어 인코딩에는 HuggingFace Transformers를 활용하고, 훈련에는 PyTorch를 사용하며, 언어, 깊이, 세그멘테이션 헤드에 대해 별도의 훈련 스케줄을 설정함.

실험 결과

연구 질문

• RQ1 언어 이해와 행동 실행을 분리하는 이중 스트림 프레임워크가 몸체화된 시각-언어 작업에서 일반화 능력을 향상시키는가?
• RQ2 언어 기반 기대를 통해 에이전트의 내부 작업 계획을 노출시키면, 인간의 행동 모니터링과 해석 가능성은 향상되는가?
• RQ3 엔드 투 엔드 모델 대비 LEBP 프레임워크는 본래 환경에서의 성능 저하를 얼마나 줄이는가?
• RQ4 시각적 인식 모듈(깊이, 세그멘테이션)은 LEBP 프레임워크의 전체 성능에 어떤 영향을 미치는가?
• RQ5 단계별 참조 지침이 필요 없이 언어 기대 모듈이 계획 정확도를 향상시킬 수 있는가?

주요 결과

• LEBP는 HLSM 대비 미사용 테스트 스플릿에서 성공률(SR)이 3.99% 절대적으로 향상되었으며, 상대적 향상률은 19.68%였습니다.
• 모델은 강력한 일반화 능력을 보이며, 미사용 스플릿에서 본래 스플릿과 유사한 성능을 기록하여 학습 시나리오에 대한 과적합이 감소했음을 시사합니다.
• FILM 대비 검증용 미사용 스플릿에서 2.26% 절대적인 SR 향상으로 경쟁적인 성능을 입증했습니다.
• 진짜 세그멘테이션은 본래 스플릿에서 18.0%의 SR 향상, 미사용 스플릿에서 11.8%의 향상으로 영향을 미쳐, 세그멘테이션 모듈이 파이프라인의 핵심 제약 요소임을 시사합니다.
• 진짜 깊이 정보는 본래 스플릿에서 1.8%의 소규모지만 일관된 향상, 미사용 스플릿에서 1.7%의 향상으로 깊이 정보는 세그멘테이션만큼 중요하지 않다는 것을 시사합니다.
• 특히 '검토' 작업에서 높은 SR과 GC를 기록했지만, '청소 및 치우기', '냉각 및 치우기', '가열 및 치우기' 작업에서는 하위 작업 실패로 인해 어려움을 겪었습니다.