[论文解读] Do Language Models Have Beliefs? Methods for Detecting, Updating, and Visualizing Model Beliefs

Peter Hase, Mona Diab+6 more|arXiv (Cornell University)|Nov 26, 2021

Topic Modeling参考文献 28被引用 15

一句话总结

本文提出方法，利用信念图和学习优化器来检测、更新和可视化语言模型中的信念。引入了 SLAG 训练目标，实现顺序性、局部性和泛化性信念更新，表明学习优化器在纠正错误信念方面优于现成基线模型，尤其在多轮更新设置中，能显著提升逻辑一致性。

ABSTRACT

Do language models have beliefs about the world? Dennett (1995) famously argues that even thermostats have beliefs, on the view that a belief is simply an informational state decoupled from any motivational state. In this paper, we discuss approaches to detecting when models have beliefs about the world, and we improve on methods for updating model beliefs to be more truthful, with a focus on methods based on learned optimizers or hypernetworks. Our main contributions include: (1) new metrics for evaluating belief-updating methods that focus on the logical consistency of beliefs, (2) a training objective for Sequential, Local, and Generalizing model updates (SLAG) that improves the performance of learned optimizers, and (3) the introduction of the belief graph, which is a new form of interface with language models that shows the interdependencies between model beliefs. Our experiments suggest that models possess belief-like qualities to only a limited extent, but update methods can both fix incorrect model beliefs and greatly improve their consistency. Although off-the-shelf optimizers are surprisingly strong belief-updating baselines, our learned optimizers can outperform them in more difficult settings than have been considered in past work. Code is available at https://github.com/peterbhase/SLAG-Belief-Updating

研究动机与目标

• 开发实用方法，基于逻辑一致性和结构特性检测语言模型是否具备类似信念的状态。
• 改进信念更新技术，以纠正事实性错误而不需完整微调，重点关注在改写和蕴含关系中的连贯性与泛化能力。
• 引入一种新型界面——信念图，用于可视化模型信念之间的相互依赖关系，以增强可解释性与错误分析能力。
• 不仅评估信念更新方法的准确性，还评估其在相关信念之间维持或恢复逻辑一致性的能力。
• 探讨在语言模型中操纵信念的伦理影响，特别是可能在纠正错误信念的同时诱导出有害信念的风险。

提出的方法

• 通过评估模型输出在改写、蕴含和逻辑传递性下的表现，使用衡量一致性程度的指标来检测类似信念的行为。
• 从模型在事实验证和问答数据集上的预测结果构建信念图，将信念表示为节点，依赖关系表示为边。
• 使用 SLAG（顺序性、局部性与泛化性）目标训练学习优化器，以确保信念更新过程保持相关陈述之间的一致性。
• 将现成优化器作为强基线，与学习优化器在多轮更新设置中进行比较，以评估其泛化能力与鲁棒性。
• 将信念更新方法应用于 FEVER 和 LeapOfThought 等数据集，通过测量逻辑相关输入预测的变化，评估传递性与污染程度。
• 使用 % 更新传递性 与 被污染预测数量 等指标评估信念一致性，以检测更新带来的非预期副作用。

实验结果

研究问题

• RQ1 语言模型在多大程度上表现出类似信念的特性，如在改写和蕴含关系下的逻辑一致性？
• RQ2 与现成优化器相比，学习优化器在信念更新方面效果如何，特别是在多轮、顺序性设置中？
• RQ3 信念图能否准确表示模型预测之间的逻辑相互依赖关系，并揭示结构上的脆弱性？
• RQ4 更新一个信念如何影响其他逻辑相关信念？该过程在多大程度上具有传递性？
• RQ5 使用信念更新方法操纵模型行为存在哪些风险与伦理影响，包括可能诱导出有害信念的潜在风险？

主要发现

• SLAG 训练目标显著提升了学习优化器在顺序性多信念更新任务中的性能，在复杂设置中优于现成优化器。
• 现成优化器作为基线表现出出人意料的强健性，在简单更新任务中常与专用学习优化器表现相当甚至更优。
• 信念图显示，模型信念高度互联，某些信念可影响数百个其他信念，LeapOfThought 数据集中第 95 百分位数节点的入边数超过 5,000 条。
• 在 FEVER 数据集中仅有 66.64% 的信念更新表现出完全传递性，LeapOfThought 中仅为 24.38%，表明模型更新常导致信念变化的不连贯。
• 在 LeapOfThought 数据集中，高达 2,752 个正确预测在模型更新过程中被破坏，表明信念更新可能无意中损害无关预测。
• 所有构建的信念图中信念均连通，0% 的节点无边连接，表明通过针对性更新可影响任意信念，凸显信念编辑的系统性影响。