[论文解读] Language Models as Agent Models

Jacob Andreas|arXiv (Cornell University)|Dec 3, 2022

Topic Modeling被引用 10

一句话总结

本文主张，语言模型（LMs）通过在下一个词预测过程中推断并利用信念、欲望和目标的近似表示，作为隐式代理意图模型而运作。尽管训练数据有限且无法直接访问代理状态，LMs 仍展现出模拟交际意图的涌现能力，从而实现连贯、目标导向的语言生成——尽管其失败模式与错误的意图建模密切相关。

ABSTRACT

Language models (LMs) are trained on collections of documents, written by individual human agents to achieve specific goals in an outside world. During training, LMs have access only to text of these documents, with no direct evidence of the internal states of the agents that produced them -- a fact often used to argue that LMs are incapable of modeling goal-directed aspects of human language production and comprehension. Can LMs trained on text learn anything at all about the relationship between language and use? I argue that LMs are models of intentional communication in a specific, narrow sense. When performing next word prediction given a textual context, an LM can infer and represent properties of an agent likely to have produced that context. These representations can in turn influence subsequent LM generation in the same way that agents' communicative intentions influence their language. I survey findings from the recent literature showing that -- even in today's non-robust and error-prone models -- LMs infer and use representations of fine-grained communicative intentions and more abstract beliefs and goals. Despite the limited nature of their training data, they can thus serve as building blocks for systems that communicate and act intentionally.

研究动机与目标

• 探究语言模型是否仅从文本中推断并表征交际意图，尽管无法直接访问代理的心理状态。
• 考察这些推断出的代理表征如何影响语言生成，类似于人类意图如何引导言语。
• 识别并分析源于对信念、欲望和意图建模不准确而导致的语言模型失败模式。
• 探索通过改进意图建模，LMs 作为未来类代理系统基础架构的潜力。
• 强调 LMs 能够模拟良性与恶意代理意图所带来的伦理风险。

提出的方法

• 本文将语言模型的下一个词预测视为推断并应用代理信念、欲望和意图近似表示的过程。
• 它基于现有 NLP 文献的实证结果，证明 LMs 可以从文本语境中推断出细微的交际意图和抽象目标。
• 该框架将 LM 推理视为一种代理模拟形式，其中代理状态的内部表征因果性地影响文本生成。
• 作者使用真实模型（如 GPT-3）的案例研究，说明 LMs 如何在叙事和推理任务中建模不同的信念和动机。
• 分析包括失败案例，即错误推断导致输出不连贯或矛盾，即使句法和语义均正确。
• 本文提出，未来架构应设计为更好地表征和推理代理状态，以文本仅预训练为基础进行构建。

实验结果

研究问题

• RQ1 语言模型能否仅从文本中推断并表征代理的交际意图，尽管无法访问其内部状态？
• RQ2 推断出的代理表征在多大程度上因果性地影响 LMs 中的语言生成，类似于意图如何引导人类言语？
• RQ3 当前 LMs 中源于对信念、欲望和意图建模不准确的失败模式有哪些？
• RQ4 文本仅预训练的语言模型如何作为构建更稳健、具意图的代理系统的支架？
• RQ5 使 LMs 能够模拟良性与恶意代理意图所带来的伦理风险是什么？

主要发现

• 当前语言模型能够推断并使用对细微交际意图的表征，例如对物理定律的不同信念，即使仅通过文本进行训练。
• 像 GPT-3 这类模型能够生成连贯、目标导向的叙事——例如预测对下落物体的不同信念——表明其隐式建模了代理状态。
• 语言生成中的失败通常并非源于句法或语义问题，而是源于对代理信念、欲望或意图的错误推断。
• 尽管存在局限，LMs 展现出模拟涉及冲突动机和环境约束的多代理场景的涌现能力。
• 在低资源语言中，意图建模的质量显著下降，限制了这些能力的泛化。
• 改进意图建模可能被滥用，以诱使 LMs 模拟有害或恶意的代理行为。