[論文レビュー] JARVIS: A Neuro-Symbolic Commonsense Reasoning Framework for Conversational Embodied Agents

Kaizhi Zheng, Kaiwen Zhou+6 more|arXiv (Cornell University)|Aug 28, 2022

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

JARVISは、会話理解および部分的目標計画に大規模言語モデル（LLM）を用い、意味的マップにおける記号的推論を組み合わせることで、解釈可能で一般化可能かつモジュラーな会話的エンジニアドエージェントを実現する神経記号フレームワークを提案する。TEAChベンチマークにおいて最先端の性能を達成し、EDHにおける未学習環境での成功確率を6.1%から15.8%まで向上させ、Alexa Prize SimBotチャレンジでも1位を達成した。

ABSTRACT

Building a conversational embodied agent to execute real-life tasks has been a long-standing yet quite challenging research goal, as it requires effective human-agent communication, multi-modal understanding, long-range sequential decision making, etc. Traditional symbolic methods have scaling and generalization issues, while end-to-end deep learning models suffer from data scarcity and high task complexity, and are often hard to explain. To benefit from both worlds, we propose JARVIS, a neuro-symbolic commonsense reasoning framework for modular, generalizable, and interpretable conversational embodied agents. First, it acquires symbolic representations by prompting large language models (LLMs) for language understanding and sub-goal planning, and by constructing semantic maps from visual observations. Then the symbolic module reasons for sub-goal planning and action generation based on task- and action-level common sense. Extensive experiments on the TEACh dataset validate the efficacy and efficiency of our JARVIS framework, which achieves state-of-the-art (SOTA) results on all three dialog-based embodied tasks, including Execution from Dialog History (EDH), Trajectory from Dialog (TfD), and Two-Agent Task Completion (TATC) (e.g., our method boosts the unseen Success Rate on EDH from 6.1\% to 15.8\%). Moreover, we systematically analyze the essential factors that affect the task performance and also demonstrate the superiority of our method in few-shot settings. Our JARVIS model ranks first in the Alexa Prize SimBot Public Benchmark Challenge.

研究の動機と目的

• 会話ベースのエンジニアドタスクにおけるエンドツーエンドディープラーニングモデルの限界、すなわちデータ不足、一般化性能の低さ、解釈不能性を是正すること。
• 神経的認識と記号的常識的推論を統合することで、記号的システムのスケーラビリティおよび一般化の問題を克服すること。
• ハイブリッド神経記号アーキテクチャを用いて、未学習環境でもモジュラーで解釈可能かつ一般化可能なタスク実行を可能にすること。
• 自由形式会話と視覚的認識を伴う複雑で長時間にわたるタスク、たとえば家庭内タスクの完了におけるパフォーマンスを向上させること。
• 専門家のデモンストレーションが限られる少データ設定における有効性を検証すること。

提案手法

• 自由形式会話からタスク関連情報の抽出と実行可能な部分的目標の生成に、大規模言語モデル（LLM）を用いる。
• 深度およびインスタンスセグメンテーションモデルを用いて、エゴセントリックな視覚観測から動的かつ意味的な世界表現を構築する。
• タスクレベルおよびアクションレベルの常識的知識を用いて、行動を計画する記号的推論モジュールを採用する。
• 部分的目標のシーケンスと意味的マップを統合し、モジュラーで解釈可能なパイプラインとして実行可能な行動を生成する。
• LLMのプロンプト技術および視覚モデル（例：Mask R-CNN）を活用して、認識および接地の正確性を向上させる。
• 共通の推論コンponentsを備えたモジュラーなフレームワークを設計し、EDH、TfD、TATCタスクに適応可能にする。

実験結果

リサーチクエスチョン

• RQ1 神経記号フレームワークは、会話ベースのエンジニアドタスク実行における一般化性能と解釈可能性をどのように向上させ得るか？
• RQ2 常識的推論は、未学習環境での行動失敗を低減し、成功確率を向上させるために果たす役割は何か？
• RQ3 エンドツーエンドモデルが性能を発揮できない少データ（少サンプル）設定において、記号的推論は性能向上に寄与できるか？
• RQ4 認識誤り（例：深度推定やセグメンテーションの誤り）は行動失敗にどのように寄与するか？また、記号的推論によってこれを緩和できるか？
• RQ5 部分的目標推定の誤りは、最終的なタスク成功にどの程度影響を及ぼすか？そして、どのようにしてこれを低減できるか？

主な発見

• JARVISは、EDH、TfD、TATCの3つのTEAChタスクすべてで最先端の性能を達成し、EDHにおける未学習環境での成功確率が6.1%から15.8%に上昇した。
• Alexa Prize SimBot Public Benchmark Challengeで1位を獲得し、実世界への一般化性能が顕著に高いことが示された。
• 専門家のデモンストレーションが限られる少サンプル設定においても、JARVISは効果的に一般化し、エンドツーエンドベースラインを上回った。
• 行動失敗の主な原因は「移動中に障害物に遮られる」ことであり、EDHでは40.8%を占めており、主に意味的障害物マップに影響を与える深度推定誤りに起因する。
• 物体認識の誤り、たとえばトマトをリンゴと誤認することなどは、タスク失敗を引き起こし、堅牢な認識の必要性を浮き彫りにしている。
• 部分的目標推定の失敗、たとえばすべてのポテトを皿にのせるという重要なステップを省略することなどは、定性的分析によってタスク失敗の直接的原因であることが示された。