[论文解读] JARVIS: A Neuro-Symbolic Commonsense Reasoning Framework for Conversational Embodied Agents

Kaizhi Zheng, Kaiwen Zhou+6 more|arXiv (Cornell University)|Aug 28, 2022

Multimodal Machine Learning Applications被引用 8

一句话总结

JARVIS 提出了一种神经符号框架，结合大型语言模型（LLMs）进行对话理解与子目标规划，以及基于语义地图的符号推理，以实现可解释性、可泛化性和模块化的对话式具身智能体。该框架在 TEACh 基准测试中取得最先进性能，将 EDH 中未见环境的成功率从 6.1% 提升至 15.8%，并在 Alexa Prize SimBot 挑战赛中排名第一。

ABSTRACT

Building a conversational embodied agent to execute real-life tasks has been a long-standing yet quite challenging research goal, as it requires effective human-agent communication, multi-modal understanding, long-range sequential decision making, etc. Traditional symbolic methods have scaling and generalization issues, while end-to-end deep learning models suffer from data scarcity and high task complexity, and are often hard to explain. To benefit from both worlds, we propose JARVIS, a neuro-symbolic commonsense reasoning framework for modular, generalizable, and interpretable conversational embodied agents. First, it acquires symbolic representations by prompting large language models (LLMs) for language understanding and sub-goal planning, and by constructing semantic maps from visual observations. Then the symbolic module reasons for sub-goal planning and action generation based on task- and action-level common sense. Extensive experiments on the TEACh dataset validate the efficacy and efficiency of our JARVIS framework, which achieves state-of-the-art (SOTA) results on all three dialog-based embodied tasks, including Execution from Dialog History (EDH), Trajectory from Dialog (TfD), and Two-Agent Task Completion (TATC) (e.g., our method boosts the unseen Success Rate on EDH from 6.1\% to 15.8\%). Moreover, we systematically analyze the essential factors that affect the task performance and also demonstrate the superiority of our method in few-shot settings. Our JARVIS model ranks first in the Alexa Prize SimBot Public Benchmark Challenge.

研究动机与目标

• 为解决端到端深度学习模型在基于对话的具身任务中的局限性，如数据稀缺、泛化能力差以及可解释性不足。
• 通过整合神经感知与符号常识推理，克服符号系统在可扩展性和泛化能力方面的挑战。
• 通过混合神经符号架构，实现在未见过环境中的模块化、可解释且可泛化的任务执行。
• 提升在复杂、长时程具身任务（如基于自由形式对话与视觉感知的家务任务完成）中的性能。
• 在专家示范有限的少样本设置中验证框架的有效性。

提出的方法

• 使用大型语言模型（LLMs）从自由形式对话中提取任务相关的信息，并生成可执行的子目标。
• 利用深度估计和实例分割模型，从第一视角视觉观测中构建动态语义世界表征。
• 采用符号推理模块，利用任务级和动作级常识知识规划动作。
• 将子目标序列与语义地图集成，构建模块化、可解释的可执行动作流水线。
• 通过 LLM 提示工程和视觉模型（如 Mask R-CNN）提升感知与定位准确性。
• 设计模块化框架，适用于 EDH、TfD 和 TATC 任务，共享推理组件。

实验结果

研究问题

• RQ1 神经符号框架如何提升基于对话的具身任务执行中的泛化能力与可解释性？
• RQ2 常识推理在减少动作失败并提升未见环境中成功率方面发挥何种作用？
• RQ3 在数据量少（少样本）的设置中，符号推理能否提升性能，从而弥补端到端模型的不足？
• RQ4 感知错误（如深度或分割错误）如何导致动作失败？符号推理在多大程度上可缓解此类问题？
• RQ5 子目标估计错误在多大程度上影响最终任务成功率？如何降低此类错误？

主要发现

• JARVIS 在 TEACh 的三项任务（EDH、TfD 和 TATC）中均取得最先进性能，EDH 任务未见环境下的成功率达到 15.8%，较之前的 6.1% 显著提升。
• 该框架在 Alexa Prize SimBot 公开基准挑战赛中排名第一，展现出强大的真实世界泛化能力。
• 在专家示范有限的少样本设置中，JARVIS 表现出良好的泛化能力，优于端到端基线模型。
• 动作失败最常见的原因是“移动时受阻”（EDH 中占 40.8%），主要源于深度预测错误影响语义障碍物地图的构建。
• 物体识别错误（如将番茄误识别为苹果）会导致任务失败，凸显了鲁棒感知的重要性。
• 子目标估计失败（如遗漏将所有土豆放在盘子上的关键步骤）会直接导致任务失败，这一结论通过定性分析得到验证。