[论文解读] Let's Think Dot by Dot: Hidden Computation in Transformer Language Models

Jacob Pfau, William Merrill+1 more|arXiv (Cornell University)|Apr 24, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文表明，变换器模型可使用无意义的填充标记（如'……'）执行复杂的算法计算，而非依赖思维链推理，在合成任务（如3SUM）中实现100%的准确率，而直接提示法则会失败。结果表明，中间标记提供的计算优势与其语义内容无关，揭示了大语言模型中隐藏的、不可审计的计算过程。

ABSTRACT

Chain-of-thought responses from language models improve performance across most benchmarks. However, it remains unclear to what extent these performance gains can be attributed to human-like task decomposition or simply the greater computation that additional tokens allow. We show that transformers can use meaningless filler tokens (e.g., '......') in place of a chain of thought to solve two hard algorithmic tasks they could not solve when responding without intermediate tokens. However, we find empirically that learning to use filler tokens is difficult and requires specific, dense supervision to converge. We also provide a theoretical characterization of the class of problems where filler tokens are useful in terms of the quantifier depth of a first-order formula. For problems satisfying this characterization, chain-of-thought tokens need not provide information about the intermediate computational steps involved in multi-token computations. In summary, our results show that additional tokens can provide computational benefits independent of token choice. The fact that intermediate tokens can act as filler tokens raises concerns about large language models engaging in unauditable, hidden computations that are increasingly detached from the observed chain-of-thought tokens.

研究动机与目标

• 探究变换器中的中间标记是否提供超越语义内容的计算能力。
• 确定无意义的填充标记（如'……'）是否能使变换器解决原本无法解决的算法任务。
• 评估思维链提示带来的性能提升，究竟是源于结构化计算，还是可解释的推理。
• 评估通过监督微调学习使用填充标记的可行性。
• 基于一阶逻辑中的量词深度，对填充标记有用的问題类别进行理论表征。

提出的方法

• 作者构建了两个合成数据集：3SUM 和 2SUM-Transform，设计为无法通过直接提示解决，但可通过中间标记解决。
• 模型在输入与输出之间插入填充标记（'……'）的序列上进行微调，使用下一个标记预测目标函数。
• 通过零 shot 泛化到更长、更复杂的输入，评估性能，并与无中间标记、填充标记和思维链提示的基线进行比较。
• 理论分析将填充标记的效用与一阶逻辑中的量词深度关联起来，表明当量词深度 >2 时，问题可借助填充标记表达。
• 消融研究比较了在仅填充标记序列和思维链序列上训练的效果，以隔离学习难度。
• 实证评估使用基于 LLaMA 的模型在合成数据上微调，性能在多个随机种子和超参数设置下进行测量。

Figure 1: A stylized example distinguishing between three LM question-answering protocols: chain of thought, filler tokens, and immediate answer. In the filler-tokens setting, the LM uses arbitrary, irrelevant intermediate tokens (e.g., ‘……’) before answering, but the filler tokens’ hidden-layer rep

实验结果

研究问题

• RQ1 变换器能否仅使用无意义的填充标记（中间标记无任何语义内容）解决算法任务？
• RQ2 思维链提示带来的性能提升，在多大程度上源于额外的计算能力，而非忠实的推理过程？
• RQ3 是否可以训练变换器有效使用填充标记？需要何种形式的监督？
• RQ4 哪些类型的问题在使用填充标记后变得可解？这与逻辑表达能力有何关联？
• RQ5 使用填充标记是否会削弱大语言模型推理的可解释性和可审计性？

主要发现

• 在 3SUM 任务中，使用填充标记的模型准确率达到 100%，而无填充标记、直接作答的设置下准确率接近零。
• 在 2SUM-Transform 任务中，使用填充标记的模型达到 94% 的准确率，接近使用思维链提示的 95.1% 性能。
• 随着输入长度和复杂度的增加，填充标记的性能显著提升，表明其优势超越语义内容，具有计算本质。
• 在仅填充标记序列上训练的模型准确率仅为约 71%，表明若无可并行化的监督，学习使用填充标记具有困难。
• 在实例自适应思维链数据上训练的模型无法泛化到填充标记序列，表明从串行推理到填充标记使用的知识无法迁移。
• 理论分析表明，填充标记扩展了 TC⁰ 复杂度类中的表达能力，尤其对高量词深度的问题具有显著提升。

Figure 2: The performance gap between a transformer, Llama 34M, with and without filler tokens increases with 3SUM problem length up to length 12, showing that filler tokens reliably provide an advantage for sufficiently complex 3SUM problems. The no-filler models were trained for 5 $\times$ the num