[論文レビュー] Chat with the Environment: Interactive Multimodal Perception Using Large Language Models

Xufeng Zhao, Mengdi Li+3 more|arXiv (Cornell University)|Mar 14, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、認知的不確実性を解消するために、触覚、重量測定、聴覚などのエピステミック行動を通じて環境を能動的に探査するロボットを支援する、大規模言語モデル（LLM）を推論の核とするインタラクティブなマルチモーダル知覚フレームワーク「Matcha」を提案する。感覚データを自然言語に変換するモダリティ固有の知覚モジュールを統合することで、MatchaはLLMがマルチモーダルフィードバックを統合的に推論可能にし、部分的に観察可能な環境において物体の性質分類精度とタスク成功確率を顕著に向上させる。

ABSTRACT

Programming robot behavior in a complex world faces challenges on multiple levels, from dextrous low-level skills to high-level planning and reasoning. Recent pre-trained Large Language Models (LLMs) have shown remarkable reasoning ability in few-shot robotic planning. However, it remains challenging to ground LLMs in multimodal sensory input and continuous action output, while enabling a robot to interact with its environment and acquire novel information as its policies unfold. We develop a robot interaction scenario with a partially observable state, which necessitates a robot to decide on a range of epistemic actions in order to sample sensory information among multiple modalities, before being able to execute the task correctly. Matcha (Multimodal environment chatting) agent, an interactive perception framework, is therefore proposed with an LLM as its backbone, whose ability is exploited to instruct epistemic actions and to reason over the resulting multimodal sensations (vision, sound, haptics, proprioception), as well as to plan an entire task execution based on the interactively acquired information. Our study demonstrates that LLMs can provide high-level planning and reasoning skills and control interactive robot behavior in a multimodal environment, while multimodal modules with the context of the environmental state help ground the LLMs and extend their processing ability. The project website can be found at https://matcha-agent.github.io.

研究の動機と目的

• 部分的に観察可能な状況下で、ロボットがマルチモーダル感覚入力を用いて能動的に環境を知覚し、推論できる仕組みを提供すること。
• 受動的知覚の限界を克服するため、特定の対象との相互作用を通じて不確実性を低減するエピステミック行動を導入すること。
• マルチモーダル入力を自然言語に変換することで、LLMを現実世界の感覚データに根ざさせ、統一的な推論を可能にすること。
• 共通知識を活用することで、LLMが新しい物体の性質や指示の言語的表現の多様性に一般化できることを示すこと。
• インタラクティブでマルチモーダルフィードバックループを用いることで、分類精度とタスク成功確率の向上が図れるかどうかを評価すること。

提案手法

• Matchaエージェントは、タスク指示と環境の文脈に基づいて行動命令を生成する中心的な推論エンジンとして大規模言語モデル（LLM）を用いる。
• 視覚、音声、触覚、体位知覚といった各モダリティは、それぞれ専用の事前学習済み知覚モジュールによって処理され、生の感覚データが自然言語の記述に変換される。
• LLMはこれらの自然言語フィードバックを用いて、物体の性質（素材や重量など）について推論し、次のエピステミック行動を計画する。
• フレームワークは、環境との反復的「会話」をサポートする：ロボットが行動し、マルチモーダルフィードバックを受け取り、順次的相互作用を通じて理解を精緻化する。
• システムはモジュラーかつ柔軟で、新しい知覚モジュールのプラグアンドプレイ統合が可能であり、新規の物体やタスクへの適応が可能である。
• LLMは文脈内推論を実行するようにプロンプトされ、同じタスクの多様な言語的表現に一般化できる。

実験結果

リサーチクエスチョン

• RQ1 LLMは、部分的に観察可能な環境において、不確実性を低減するエピステミック行動を効果的に誘導できるか？
• RQ2 マルチモーダル感覚フィードバックにLLMの推論を根ざさせることで、受動的知覚と比較して物体の性質分類精度がどの程度向上するか？
• RQ3 LLMは、新しい物体タイプやタスク指示の言語的バリエーションにどの程度一般化できるか？
• RQ4 マルチモーダル知覚モジュールは、LLMが潜在的な物体の性質について推論する上で果たす役割は何か？
• RQ5 環境とのインタラクティブかつ反復的な「会話」プロセスは、単一ステップまたは受動的知覚と比較して、タスク成功にどの程度寄与するか？

主な発見

• Matchaフレームワークは、特に視覚的ヒントが不十分な状況下で、ガラスやセラミックの区別に際して、能動的知覚を活用することで物体分類精度を顕著に向上させた。
• 特に触覚とインパクト音のフィードバックを統合することで、単一モダリティに依存した場合に生じた誤分類をLLMが是正できた。
• LLMは、たとえば「金属のブロックを取る」という指示から「ナッツを割るのに適したブロックを取る」という表現に変化した場合でも、多様な言語的表現に強く一般化していた。
• 失敗事例は主に、素材の感覚的類似性（例：ガラスとセラミック）に起因しており、現在の知覚モジュールが微細なエピステミック的不確実性を解消する限界を示している。
• フレームワークは、微調整を必要とせず、文脈内学習と共通知識に依存して、強力なLLMが複雑な推論とタスク計画を実行できることを示した。
• Matchaのモジュラー設計により、新しい知覚モジュールの柔軟な統合と、新規環境への適応が可能となり、一般化性能が向上した。