[论文解读] Attention Satisfies: A Constraint-Satisfaction Lens on Factual Errors of Language Models

Mert Yüksekgönül, Varun Chandrasekaran+6 more|arXiv (Cornell University)|Sep 26, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出一种基于约束满足的视角来分析大语言模型中的事实性错误，通过将事实性查询建模为约束满足问题（CSP）。提出SAT Probe方法，利用注意力模式在推理早期预测事实准确性与错误，发现在Llama-2模型（7B–70B）的11个数据集上，共4万多个提示中，对约束标记的关注度与正确性之间存在强烈相关性。

ABSTRACT

We investigate the internal behavior of Transformer-based Large Language Models (LLMs) when they generate factually incorrect text. We propose modeling factual queries as constraint satisfaction problems and use this framework to investigate how the LLM interacts internally with factual constraints. We find a strong positive relationship between the LLM's attention to constraint tokens and the factual accuracy of generations. We curate a suite of 10 datasets containing over 40,000 prompts to study the task of predicting factual errors with the Llama-2 family across all scales (7B, 13B, 70B). We propose SAT Probe, a method probing attention patterns, that can predict factual errors and fine-grained constraint satisfaction, and allow early error identification. The approach and findings take another step towards using the mechanistic understanding of LLMs to enhance their reliability.

研究动机与目标

• 理解大语言模型（LLMs）中事实性错误的内部机制，特别是基于Transformer架构的模型。
• 弥补尽管在正确事实回忆上表现强劲，但对LLMs在事实推理任务中失败的机制理解仍显不足的问题。
• 开发一种基于模型内部机制的早期事实错误检测方法，减少对昂贵事后验证的依赖。
• 探究注意力机制在生成过程中对约束满足与事实正确性的作用。

提出的方法

• 将事实性查询建模为约束满足问题（CSP），其中每个查询施加约束（例如，主语-关系-对象三元组），响应必须满足这些约束。
• 将输入中的约束标记（例如，'director'，'born in'）定义为事实结构的关键指标，并追踪其在各层中的注意力模式。
• 提出SAT Probe，一种应用于关注约束标记的注意力激活的简单线性探测器，用于预测约束满足与事实准确性。
• 在包含超过4万个提示的11个数据集的精选基准上训练并评估SAT Probe，涵盖单约束与多约束查询。
• 利用早期层的注意力统计量，在前向传播进行到一半时预测事实错误，实现成本节约的早期停止。
• 使用准确率、F1和AUC等指标评估性能，将SAT Probe与LLM置信度分数及基线方法进行比较。

Figure 1: Tracking attention to predict constraint satisfaction and factual errors. We view factual queries as Constraint Satisfaction Problems. That is, factual queries impose a set of constraints that the LLM’s responses must satisfy. To predict constraint satisfaction (i.e., factual correctness),

实验结果

研究问题

• RQ1 对约束标记的关注度与大语言模型生成响应的事实正确性之间存在何种相关性？
• RQ2 在注意力模式上应用简单探测器，是否能比标准LLM置信度评分更早预测事实错误？
• RQ3 即使最终输出在事实上不正确，模型的内部注意力行为是否仍能反映约束满足状态？
• RQ4 约束的流行度（例如，常见与罕见实体）如何影响注意力模式与事实准确性？
• RQ5 SAT Probe是否可用于在推理早期识别并中止事实性错误的生成，从而节省计算成本？

主要发现

• 对约束标记的关注度与事实正确性之间存在显著正相关：对约束关注越低，事实错误率越高。
• SAT Probe在检测事实错误方面的预测性能与LLM自身的置信度分数相当，多数数据集的AUC得分超过0.85。
• 对于Llama-2 70B模型，SAT Probe在“由谁执导的电影”任务上的AUC为0.86，在“由谁演唱的歌曲”任务上为0.83，表明其具有高度可靠性。
• SAT Probe仅使用前向传播前半部分即可高精度预测事实错误，支持早期停止并实现计算成本节约。
• 在CounterFact数据集中，SAT Probe对低流行度约束也表现出稳健性能，不同关系的AUC值在0.58至0.71之间。
• 该方法在模型规模上具有泛化能力（7B、13B、70B），在不同参数设置下均表现出一致的性能。