[论文解读] FMMformer: Efficient and Flexible Transformer via Decomposed Near-field and Far-field Attention

Tan M. Nguyen, Vai Suliafu+3 more|arXiv (Cornell University)|Dec 6, 2021

Particle accelerators and beam dynamics被引用 1

一句话总结

FMMformer 提出了一种新颖的 Transformer 架构，将自注意力机制分解为近场（带状矩阵）和远场（低秩矩阵）两部分，实现了计算和内存的线性复杂度，而标准 Transformer 的复杂度为二次方。在 Long Range Arena 基准测试中，FMMformer 的平均准确率达到 60.74%，优于标准模型的 58.70%。

ABSTRACT

We propose FMMformers, a class of efficient and flexible transformers inspired by the celebrated fast multipole method (FMM) for accelerating interacting particle simulation. FMM decomposes particle-particle interaction into near-field and far-field components and then performs direct and coarse-grained computation, respectively. Similarly, FMMformers decompose the attention into near-field and far-field attention, modeling the near-field attention by a banded matrix and the far-field attention by a low-rank matrix. Computing the attention matrix for FMMformers requires linear complexity in computational time and memory footprint with respect to the sequence length. In contrast, standard transformers suffer from quadratic complexity. We analyze and validate the advantage of FMMformers over the standard transformer on the Long Range Arena and language modeling benchmarks. FMMformers can even outperform the standard transformer in terms of accuracy by a significant margin. For instance, FMMformers achieve an average classification accuracy of $60.74\%$ over the five Long Range Arena tasks, which is significantly better than the standard transformer's average accuracy of $58.70\%$.

研究动机与目标

• 解决标准 Transformer 在长序列建模中计算与内存复杂度为二次方的问题。
• 受计算物理中快速多极方法（FMM）的启发，开发一种更高效、更灵活的注意力机制。
• 通过将自注意力分解为近场与远场组件，实现可扩展的序列建模。
• 在保持或提升长距离任务模型准确率的同时，实现时间与内存复杂度的线性化。
• 在 Long Range Arena 和语言建模范式基准上验证所提出架构的优越性。

提出的方法

• FMMformer 将自注意力机制分解为近场与远场组件，类似于 FMM 对粒子相互作用的处理方式。
• 近场注意力通过带状矩阵建模，捕捉局部依赖关系，同时减少计算量。
• 远场注意力通过低秩矩阵近似，实现高效的粗粒度计算。
• 该分解使整体注意力计算的复杂度随序列长度线性增长，将复杂度从 O(n²) 降低至 O(n)。
• 该方法借鉴 FMM 的数学原理，加速注意力计算，同时不损失模型容量。
• 通过可调节的带宽和秩，架构保持灵活性，实现效率与准确率之间的权衡。

实验结果

研究问题

• RQ1 能否设计一种 Transformer 架构，在保持或提升长距离任务性能的同时，实现计算与内存的线性复杂度？
• RQ2 将注意力分解为近场与远场组件，对模型准确率与效率有何影响？
• RQ3 FMM 启发的分解在长序列建模中，能在多大程度上超越标准自注意力？
• RQ4 可调节的带宽与低秩近似对模型性能与可扩展性有何影响？
• RQ5 FMMformer 是否在包括 Long Range Arena 和语言建模任务在内的多样化基准上保持强劲表现？

主要发现

• FMMformer 在 Long Range Arena 的五个任务上实现了 60.74% 的平均分类准确率，显著优于标准 Transformer 的平均准确率 58.70%。
• 该模型将计算与内存复杂度从 O(n²) 降低至 O(n)，实现了对长序列的高效处理。
• 即使参数量减少，FMMformer 仍保持高性能，体现出更高的参数效率。
• 通过带状矩阵与低秩矩阵的分解，实现了可扩展的注意力计算，且准确率损失可忽略。
• 在长距离与标准语言建模范式基准上，FMMformer 均展现出相对于标准 Transformer 的一致改进。
• 结果验证了 FMM 启发的分解作为标准自注意力的可扩展且高准确率替代方案的有效性。