[논문 리뷰] Chat with the Environment: Interactive Multimodal Perception Using Large Language Models

Xufeng Zhao, Mengdi Li외 3명|arXiv (Cornell University)|2023. 03. 14.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 대화형 다중모달 인식 프레임워크인 Matcha를 제안한다. 이 프레임워크는 지식 기반의 대규모 언어 모델(Large Language Model, LLM)을 추론의 핵심으로 사용하여, 유추 불확실성을 해소하기 위해 촉각, 체중 측정, 청취 등의 지식 기반 행동을 통해 환경을 능동적으로 탐색하도록 로봇을 안내한다. 각 모달리티에 특화된 인식 모듈을 통합함으로써 감각 데이터를 자연어로 변환함으로써, Matcha는 LLM이 다중모달 피드백을 통합적으로 추론할 수 있도록 하여, 부분적으로 관찰 가능한 환경에서 물체의 특성 분류 정확도와 작업 성공률을 크게 향상시킨다.

ABSTRACT

Programming robot behavior in a complex world faces challenges on multiple levels, from dextrous low-level skills to high-level planning and reasoning. Recent pre-trained Large Language Models (LLMs) have shown remarkable reasoning ability in few-shot robotic planning. However, it remains challenging to ground LLMs in multimodal sensory input and continuous action output, while enabling a robot to interact with its environment and acquire novel information as its policies unfold. We develop a robot interaction scenario with a partially observable state, which necessitates a robot to decide on a range of epistemic actions in order to sample sensory information among multiple modalities, before being able to execute the task correctly. Matcha (Multimodal environment chatting) agent, an interactive perception framework, is therefore proposed with an LLM as its backbone, whose ability is exploited to instruct epistemic actions and to reason over the resulting multimodal sensations (vision, sound, haptics, proprioception), as well as to plan an entire task execution based on the interactively acquired information. Our study demonstrates that LLMs can provide high-level planning and reasoning skills and control interactive robot behavior in a multimodal environment, while multimodal modules with the context of the environmental state help ground the LLMs and extend their processing ability. The project website can be found at https://matcha-agent.github.io.

연구 동기 및 목표

• 부분적으로 관찰 가능한 상황에서 로봇이 다중모달 감각 입력을 활용해 환경을 능동적으로 인식하고 추론할 수 있도록 하는 도전 과제를 해결하기 위해.
• 지속적인 관찰에 의존하는 기존 접근의 한계를 극복하기 위해, 유추 불확실성을 줄이기 위한 타겟된 상호작용을 통해 행동하는 지식 기반 행동을 도입하기 위해.
• 다중모달 입력을 자연어로 변환함으로써 LLM을 실제 감각 데이터에 기반시켜 통합된 추론을 가능하게 하기 위해.
• 일상 지식을 활용하여 LLM이 새로운 물체 특성과 지시어의 다양성에 일반화할 수 있도록 하기 위해.
• 대화형이고 반복적인 다중모달 피드백 루프를 통해 분류 정확도와 작업 성공률 향상 능력을 평가하기 위해.

제안 방법

• Matcha 에이전트는 작업 지시어와 환경적 맥락을 바탕으로 행동 명령어를 생성하기 위해 대규모 언어 모델(Large Language Model, LLM)을 중심 추론 엔진으로 사용한다.
• 시각, 청각, 촉각, 운동감각 등의 각 모달리티는 고유한 사전 훈련된 인식 모듈을 통해 처리되며, 이는 원시 감각 데이터를 자연어 기반 기술로 변환한다.
• LLM은 이러한 자연어 피드백을 바탕으로 물체의 특성(예: 재질, 무게 등)을 추론하고 다음 지식 기반 행동을 계획한다.
• 프레임워크는 환경과의 반복적 '대화'를 지원한다: 로봇이 행동하고, 다중모달 피드백을 수신하며, 순차적 상호작용을 통해 이해를 정교화한다.
• 시스템은 모듈식이며 유연하여 새로운 인식 모듈의 즉각적 통합과 새로운 물체 또는 작업에의 적응이 가능하다.
• LLM은 문맥 내 추론을 수행하도록 프롬프트되며, 동일한 작업을 다양한 언어적 표현으로 일반화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 LLM이 부분적으로 관찰 가능한 환경에서 불확실성을 줄이기 위해 지식 기반 행동을 효과적으로 이끌 수 있는가?
• RQ2 다중모달 감각 피드백에 기반한 LLM 추론이 단순한 관찰 대비 물체 특성 분류 정확도를 얼마나 향상시키는가?
• RQ3 LLM이 새로운 물체 유형과 지시어의 언어적 다양성에 얼마나 잘 일반화할 수 있는가?
• RQ4 다중모달 인식 모듈이 LLM이 잠재적인 물체 특성에 대해 추론하는 데 어떤 역할을 하는가?
• RQ5 대화형이고 반복적인 '대화' 과정이 단일 단계나 수동적 관찰 대비 작업 성공률 향상에 얼마나 기여하는가?

주요 결과

• Matcha 프레임워크는 특히 시각적 단서가 부족한 상황에서, 유리와 세라믹을 구분하는 데 어려움을 겪을 때 유용하게 작용하여, 능동적 인식을 통해 물체 분류 정확도를 향상시켰다.
• 특히 촉각과 충격 소리 피드백을 포함한 다중모달 피드백 통합이, 단일 모달리티에 의존할 경우 발생한 오분류를 수정하는 데 기여했다.
• LLM은 '금속 블록을 들어라'에서 '견과류를 부술 수 있는 블록을 들어라'로의 언어적 표현 변화와 같은 다양한 작업 지시어 표현에 대해 강력한 일반화 능력을 보였다.
• 실패 사례는 주로 재질 간 감각적 유사성(예: 유리와 세라믹)으로 인해 발생했으며, 이는 현재 인식 모듈이 미세한 지식 기반 불확실성을 해결하는 데 한계를 가짐을 시사한다.
• 프레임워크는 강력한 LLM이 파라미터 미세조정 없이도 복잡한 추론과 작업 계획을 수행할 수 있음을 보여주었으며, 문맥 기반 학습과 일상 지식에 의존하고 있음을 확인했다.
• Matcha의 모듈식 설계는 새로운 인식 모듈의 즉각적 통합과 새로운 환경에의 적응을 가능하게 하여 일반화 능력을 향상시킨다.