[论文解读] Language Models as a Knowledge Source for Cognitive Agents

III Wray, James R. Kirk+1 more|arXiv (Cornell University)|Sep 16, 2021

Topic Modeling被引用 5

一句话总结

本文提出将预训练语言模型（LMs）作为认知智能体的动态知识源，使其能够通过自然语言理解获取特定任务的知识。通过将LMs集成到认知架构中，智能体可以动态检索和优化知识，用于规划与推理等任务，显著提升其在复杂环境中的适应性与性能。

ABSTRACT

Language models (LMs) are sentence-completion engines trained on massive corpora. LMs have emerged as a significant breakthrough in natural-language processing, providing capabilities that go far beyond sentence completion including question answering, summarization, and natural-language inference. While many of these capabilities have potential application to cognitive systems, exploiting language models as a source of task knowledge, especially for task learning, offers significant, near-term benefits. We introduce language models and the various tasks to which they have been applied and then review methods of knowledge extraction from language models. The resulting analysis outlines both the challenges and opportunities for using language models as a new knowledge source for cognitive systems. It also identifies possible ways to improve knowledge extraction from language models using the capabilities provided by cognitive systems. Central to success will be the ability of a cognitive agent to itself learn an abstract model of the knowledge implicit in the LM as well as methods to extract high-quality knowledge effectively and efficiently. To illustrate, we introduce a hypothetical robot agent and describe how language models could extend its task knowledge and improve its performance and the kinds of knowledge and methods the agent can use to exploit the knowledge within a language model.

研究动机与目标

• 探究将大型语言模型作为认知智能体任务知识来源的可行性。
• 识别从LMs中提取高质量、可操作知识以集成到认知系统中的挑战与机遇。
• 提出一种框架，使认知智能体能够学习LM隐含知识的抽象模型，以提升任务表现。
• 展示认知架构与LMs之间的协同作用，实现适应性强、知识丰富的智能体行为。
• 概述在认知架构中实现高效且有效的LM知识提取方法，以支持智能体的实时决策。

提出的方法

• 利用预训练语言模型（如GPT类模型）作为通用世界知识和任务相关资讯的来源。
• 通过自然语言提示和检索机制，将LMs集成到认知架构中，以支持规划与推理。
• 利用智能体内部的符号化推理系统，对从LMs中提取的知识进行解释、验证和抽象。
• 应用零样本和少样本提示技术，在无需微调的情况下查询LMs以获取特定任务知识。
• 采用迭代优化和置信度评分机制，筛选并优先处理来自LM输出的高质量知识。
• 提出一种反馈回路，使智能体自身的推理与经验能够随时间不断优化其对LM衍生知识的使用。

实验结果

研究问题

• RQ1 如何有效利用语言模型作为认知智能体的任务知识来源？
• RQ2 从预训练语言模型中提取可靠、可操作知识的关键挑战是什么？
• RQ3 认知智能体在哪些方面能够动态建模并利用语言模型中的隐含知识？
• RQ4 LMs的集成如何提升认知智能体在复杂任务中的性能与适应性？
• RQ5 在认知架构中，哪些机制能够实现从LMs中高效且高质量的知识提取？

主要发现

• 语言模型可作为丰富且可扩展的任务知识源，显著扩展认知智能体的能力。
• 认知智能体可在无需微调的情况下提取并利用来自LMs的知识，实现对新任务的快速适应。
• LMs的集成通过提供广泛的世界知识，增强了智能体在规划与推理方面的能力。
• 高质量的知识提取不仅依赖提示，还需智能体符号推理系统中的验证与抽象机制。
• 智能体推理与LM查询之间的反馈回路，实现了知识质量与任务表现的持续改进。
• 该方法在假设的机器人智能体场景中得到验证，表明通过LM增强的知识，智能体在任务学习与执行方面表现更优。