[论文解读] Exposing Attention Glitches with Flip-Flop Language Modeling

Bingbin Liu, Jordan T. Ash+3 more|arXiv (Cornell University)|Jun 1, 2023

Topic Modeling被引用 8

一句话总结

论文提出 flip-flop language modeling (FFLM) 用于探测变换器中的长程推理，显示语言模型存在长尾的注意力故障（glitches），跨任务反复出现，并且证明循环模型以及数据/正则化改进可以减轻但不能完全消除这些错误。

ABSTRACT

Why do large language models sometimes output factual inaccuracies and exhibit erroneous reasoning? The brittleness of these models, particularly when executing long chains of reasoning, currently seems to be an inevitable price to pay for their advanced capabilities of coherently synthesizing knowledge, pragmatics, and abstract thought. Towards making sense of this fundamentally unsolved problem, this work identifies and analyzes the phenomenon of attention glitches, in which the Transformer architecture's inductive biases intermittently fail to capture robust reasoning. To isolate the issue, we introduce flip-flop language modeling (FFLM), a parametric family of synthetic benchmarks designed to probe the extrapolative behavior of neural language models. This simple generative task requires a model to copy binary symbols over long-range dependencies, ignoring the tokens in between. We find that Transformer FFLMs suffer from a long tail of sporadic reasoning errors, some of which we can eliminate using various regularization techniques. Our preliminary mechanistic analyses show why the remaining errors may be very difficult to diagnose and resolve. We hypothesize that attention glitches account for (some of) the closed-domain hallucinations in natural LLMs.

研究动机与目标

• 为自回归模型研究长程推理和记忆提供一个最小、可控的基准。
• 分离 Transformer 注意力是否会在 flip-flop 风格的记忆任务中引发可靠性差距（故障）。
• 评估数据多样化和正则化技术在降低注意力故障方面的有效性。
• 将 Transformer 的外推与循环结构在基于记忆的任务上进行比较。
• 提供关于为何注意力故障出现以及为何难以根除的机制见解。

提出的方法

• 将 FFLM 定义为一个长度为 T 的 flip-flop 字符串的参数分布，带有指令（写、读、忽略）和一个单一记忆位。
• 在 Generative 和 Deterministic FFLM 设置下评估 Transformer 和 LSTM 模型，以衡量外推和读取准确性。
• 通过带有不同稀疏性/密度的分布外序列（FFL(0.98) 和 FFL(0.1)）分析尾部行为并报告跨种子重现性。
• 调查包括注意力锐化和嵌入丢弃在内的正则化技术作为潜在缓解措施。
• 提供初步的机制性分析，将注意力模式与 flip-flop 记忆和错误模式联系起来。

实验结果

研究问题

• RQ1 Transformer 模型是否能可靠地学习并外推 flip-flop 语言，还是会表现出注意力故障的长尾？
• RQ2 正则化、注意力锐化或数据多样化是否能降低 Transformer 的 flip-flop 错误发生率？
• RQ3 在长距离依赖下，LSTM 相较于 Transformer 在 flip-flop 记忆任务中有何比较？
• RQ4 支撑注意力故障的内部机制是什么，为何难以消除？
• RQ5 大型自然语言模型的新兴能力是否能对合成的 flip-flop 任务产生鲁棒的一般化？

主要发现

• Transformer 在 flip-flop 语言任务上的学习并不完美，在长距离和短距离依赖中均表现出广泛的偶发读取错误的长尾。
• 在研究条件下，LSTM 对 flip-flop 任务的外推表现更好且鲁棒性高于 Transformer。
• 在罕见的、分布外的 flip-flop 序列上进行训练显著减少错误，有时在多次运行中甚至消除错误。
• 注意力锐化和其他正则化可以将错误率降低数量级，但不能完全消除故障。
• 增加数据量或模型规模相较于多样化训练数据带来的是温和的改进，而后者在鲁棒性提升方面收益更大。
• 存在多种导致注意力故障的机制，包括软注意力稀释和非理想的并列判定，这些都可能导致虚假的依赖关系。