[论文解读] Exploring Large Language Models as a Source of Common-Sense Knowledge for Robots

Felix Ocker, Jörg Deigmöller+1 more|arXiv (Cornell University)|Oct 19, 2023

Semantic Web and Ontologies被引用 4

一句话总结

本文研究了大型语言模型（LLMs）作为服务机器人常识知识来源的潜力，重点在于提取结构化的动作模式（由动作、主体、对象、工具和状态定义）以填充本体。尽管LLMs在大规模提取通用可操作知识方面展现出强大潜力，但其在精确、上下文特定知识方面的可靠性仍不足，表明与符号知识图谱协同使用对于实现稳健的机器人应用至关重要。

ABSTRACT

Service robots need common-sense knowledge to help humans in everyday situations as it enables them to understand the context of their actions. However, approaches that use ontologies face a challenge because common-sense knowledge is often implicit, i.e., it is obvious to humans but not explicitly stated. This paper investigates if Large Language Models (LLMs) can fill this gap. Our experiments reveal limited effectiveness in the selective extraction of contextual action knowledge, suggesting that LLMs may not be sufficient on their own. However, the large-scale extraction of general, actionable knowledge shows potential, indicating that LLMs can be a suitable tool for efficiently creating ontologies for robots. This paper shows that the technique used for knowledge extraction can be applied to populate a minimalist ontology, showcasing the potential of LLMs in synergy with formal knowledge representation.

研究动机与目标

• 评估大型语言模型（LLMs）是否可作为服务机器人常识知识的可行来源。
• 研究LLMs在提取结构化动作模式（包括工具、对象状态和空间关系）方面的有效性。
• 评估使用LLMs填充极简本体以实现机器人知识表示的可行性。
• 将基于LLM的提取方法与传统知识库进行比较，识别在真实机器人部署中可靠性方面的差距。

提出的方法

• 使用OWL 2描述逻辑形式化动作模式，将其定义为包含动作、主体、对象、工具、动作前后状态以及空间关系的元组。
• 设计零样本提示策略：提示1用于目标提取（例如，针对特定动作提取工具）；提示2用于大规模提取每个领域100个动作模式（例如，“厨房”领域）。
• 使用97个人工标注的动作模式作为真实数据集，评估多种LLMs（包括GPT-3.5-turbo、GPT-4、BLOOMZ和BERT）。
• 采用temperature=0以获得确定性输出，并提供候选列表以提高可靠性，模拟机器人感知的对齐。
• 实现一个将提取的动作模式转换为OWL 2本体的流水线，支持与符号AI推理系统的集成。
• 采用F1@n分数衡量不同提取任务中的精确率与召回率，其中n表示前n名结果。

Figure 1: Architecture for assessing the LLMs and populating an ontology.

实验结果

研究问题

• RQ1 LLMs能否可靠地提取用于机器人任务的可操作常识知识，如工具和对象状态？
• RQ2 与人工标注的真实数据相比，LLMs在提取完整动作模式方面的有效性如何？
• RQ3 LLMs在生成适用于特定领域本体的有效、通用动作模式方面，其可扩展性如何？
• RQ4 提示策略和候选对齐在提高提取准确性方面发挥何种作用？
• RQ5 基于LLM提取的知识能否有效集成到正式本体中，以供机器人推理系统使用？

主要发现

• GPT-3.5-turbo和GPT-4在提取工具方面优于其他模型，F1@n得分最高，其中GPT-4在结构化输出一致性方面表现尤为突出。
• 使用去掩码技术提取空间关系取得了最佳结果，表明某些类型的知识更易于通过LLM进行提取。
• 动作前后的对象状态是最不准确提取的部分，表明LLMs在建模动态状态变化方面存在关键局限。
• 尽管在细粒度提取中精度较低，但所有100个从“厨房”领域提取的动作模式均经人工验证为有效，证明了其可扩展性和通用实用性。
• 温度变化对性能影响极小，证实确定性推理（temperature=0）足以满足知识提取流水线的需求，且结果可靠。
• 本研究证实，LLMs尚不能作为机器人应用的独立知识源，但在结合符号推理时，作为初始本体填充的可扩展工具极为有效。

Figure 2: F1@n-scores, with n on the x-axis, for the extraction tasks compared to the ground truth ( $temperature=0$ , candidates provided).