[论文解读] The emergence of clusters in self-attention dynamics

Borjan Geshkovski, Cyril Letrouit+2 more|arXiv (Cornell University)|May 9, 2023

Neural Networks and Applications被引用 5

一句话总结

本文将Transformer中的自注意力机制建模为一个相互作用粒子系统，表明标记在渐近意义上会聚集到由初始标记位置和值矩阵谱决定的几何对象（凸多面体的顶点或超平面）上。研究证明，在一维情况下，自注意力矩阵收敛到一个低秩布尔矩阵，从数学上证实了注意力动力学中‘领导者’的出现。

ABSTRACT

Viewing Transformers as interacting particle systems, we describe the geometry of learned representations when the weights are not time dependent. We show that particles, representing tokens, tend to cluster toward particular limiting objects as time tends to infinity. Cluster locations are determined by the initial tokens, confirming context-awareness of representations learned by Transformers. Using techniques from dynamical systems and partial differential equations, we show that the type of limiting object that emerges depends on the spectrum of the value matrix. Additionally, in the one-dimensional case we prove that the self-attention matrix converges to a low-rank Boolean matrix. The combination of these results mathematically confirms the empirical observation made by Vaswani et al. [VSP'17] that leaders appear in a sequence of tokens when processed by Transformers.

研究动机与目标

• 通过将自注意力建模为连续时间相互作用粒子系统，理解Transformer中学习表征的几何结构。
• 在固定、时间无关的注意力权重下，表征时间趋于无穷时的标记动力学渐近行为。
• 从数学上解释经验观察中某些标记在注意力机制中充当‘领导者’的现象。
• 识别极限几何结构（多面体或超平面）如何依赖于值矩阵 $V$ 的谱性质。
• 建立自注意力矩阵收敛到低秩布尔矩阵的条件，特别是在一维情况下。

提出的方法

• 将Transformer层建模为一个连续时间动力系统，其中每个标记通过基于查询、键和值矩阵导出的注意力得分的加权聚合来演化。
• 使用自注意力矩阵 $P(t)$，通过查询和键投影点积的Softmax定义，来控制标记演化的动力学。
• 应用动力系统和偏微分方程的工具，分析系统的长时间行为。
• 通过注意力权重的渐近分析，证明在一维情况下自注意力矩阵收敛到低秩布尔矩阵。
• 证明当 $V$ 为正定时，标记会聚向由初始标记位置决定的凸多面体的顶点；当 $V$ 具有特定谱结构时，标记会聚向超平面。
• 在 $Q^T K$ 非正定或 $V$ 非单位矩阵的情况下扩展结果，通过数值实验表明聚类模式具有鲁棒性。

实验结果

研究问题

• RQ1 在固定注意力权重下，Transformer层中标记的表征如何随时间演化？
• RQ2 当时间趋于无穷时，标记聚类会形成何种几何结构？
• RQ3 值矩阵 $V$ 的谱如何决定标记聚类的极限对象类型（例如多面体或超平面）？
• RQ4 在何种条件下自注意力矩阵收敛到低秩布尔矩阵？
• RQ5 当 $Q^T K$ 或 $V$ 的假设被放宽时，聚类现象在多大程度上仍然存在？

主要发现

• 在一维情况下，当 $V > 0$ 时，自注意力矩阵 $P(t)$ 收敛到一个元素属于 \{0,1\} 的低秩布尔矩阵，证实了离散‘领导者’的出现。
• 当 $V$ 为正定时，标记会聚向由初始标记位置决定的凸多面体的顶点。
• 当 $V$ 具有特定谱结构时，标记会聚向超平面，其极限构型取决于初始标记在 $V$ 的特征子空间上的投影。
• 数值实验表明，即使 $Q^T K$ 不是半正定，聚类现象依然存在，表明该现象在严格假设之外也具有鲁棒性。
• 添加带有ReLU或tanh激活的前馈层不会破坏聚类，尽管在某些权重配置下动力学可能坍塌至零。
• 理论框架确认了Vaswani等人（2017）的经验观察：某些标记在注意力机制中充当‘领导者’，现可通过渐近几何收敛性加以解释。