[论文解读] Mapping of attention mechanisms to a generalized Potts model

Riccardo Rende, Federica Gerace+2 more|arXiv (Cornell University)|Apr 14, 2023

Speech and dialogue systems参考文献 51被引用 4

一句话总结

本文建立了变压器中单层自注意力机制与学习广义Potts模型（涉及词位置与标记类型之间相互作用）的逆问题之间的精确解析映射。研究表明，掩码语言建模训练等价于通过伪似然法求解逆Potts问题，并利用复制法解析计算泛化误差，揭示了自注意力在学习结构化分布方面的统计极限。

ABSTRACT

Transformers are neural networks that revolutionized natural language processing and machine learning. They process sequences of inputs, like words, using a mechanism called self-attention, which is trained via masked language modeling (MLM). In MLM, a word is randomly masked in an input sequence, and the network is trained to predict the missing word. Despite the practical success of transformers, it remains unclear what type of data distribution self-attention can learn efficiently. Here, we show analytically that if one decouples the treatment of word positions and embeddings, a single layer of self-attention learns the conditionals of a generalized Potts model with interactions between sites and Potts colors. Moreover, we show that training this neural network is exactly equivalent to solving the inverse Potts problem by the so-called pseudo-likelihood method, well known in statistical physics. Using this mapping, we compute the generalization error of self-attention in a model scenario analytically using the replica method.

研究动机与目标

• 理解自注意力在掩码语言建模（MLM）训练过程中学习的统计结构。
• 确定单层自注意力机制能够高效学习的条件概率分布族。
• 量化自注意力在学习结构化数据分布时实现良好泛化的样本复杂度。
• 建立自注意力与统计物理模型（尤其是Potts模型）之间的正式联系。

提出的方法

• 将词序列建模为广义Potts模型中的自旋，其中位置与词类型之间存在相互作用。
• 采用因子分解的自注意力机制，其中注意力权重仅依赖于位置，而值仅依赖于嵌入表示，从而实现解析可处理性。
• 将自注意力机制映射到逆Potts问题，其中注意力矩阵对应于相互作用耦合，值矩阵对应于颜色相似性。
• 应用复制法，在高斯先验和平方损失下，于零温极限计算典型泛化误差。
• 推导出表征学习性能的序参量（如q, r, l等）的鞍点方程。
• 利用所得自由能密度，对自注意力模型的泛化误差进行解析评估。

实验结果

研究问题

• RQ1 在掩码语言建模下，单层自注意力机制能高效学习何种类型的数据分布？
• RQ2 自注意力的训练与Potts模型等统计物理模型有何关联？
• RQ3 自注意力在学习结构化、高维分布时的泛化误差是多少？
• RQ4 自注意力的学习过程能否被精确映射到统计力学中的已知逆问题？
• RQ5 自注意力在学习条件分布时实现良好泛化所需的样本复杂度是多少？

主要发现

• 在大规模训练集极限下，单层因子分解自注意力可精确学习广义Potts模型的条件分布。
• 通过掩码语言建模进行的自注意力训练在数学上等价于使用伪似然法求解逆Potts问题。
• 可利用复制法对自注意力的泛化误差进行解析计算，在零温极限下得到闭式表达式。
• 鞍点方程的解表明，学习任务中的标签噪声直接源于输入噪声，而非可独立调节的参数。
• 推导出的自由能密度与带噪声标签和结构化数据的监督学习形式一致，但噪声与输入可变性内在耦合。
• 系统在学习性能上表现出相变现象，序参量（q, r, l）捕捉了泛化与过拟合之间的权衡。