[论文解读] Conv-Linformer: Boosting Linformer's Performance with Convolution in Small-Scale Settings

Sinong Wang, Belinda Z. Li+3 more|arXiv (Cornell University)|Jun 8, 2020

Neural Networks and Applications参考文献 27被引用 880

一句话总结

Conv-Linformer 通过引入卷积组件来增强 Linformer，在小规模设置中提升性能，达到与具线性时间自注意力的标准 Transformer 相当的结果。它在处理更长序列时也保持了效率优势。

ABSTRACT

Large transformer models have shown extraordinary success in achieving state-of-the-art results in many natural language processing applications. However, training and deploying these models can be prohibitively costly for long sequences, as the standard self-attention mechanism of the Transformer uses $O(n^2)$ time and space with respect to sequence length. In this paper, we demonstrate that the self-attention mechanism can be approximated by a low-rank matrix. We further exploit this finding to propose a new self-attention mechanism, which reduces the overall self-attention complexity from $O(n^2)$ to $O(n)$ in both time and space. The resulting linear transformer, the extit{Linformer}, performs on par with standard Transformer models, while being much more memory- and time-efficient.

研究动机与目标

• 鼓励并解决 Transformer 自注意力在序列长度上的二次方复杂度所带来的效率瓶颈。
• 证明自注意力可以近似为一个低秩操作，从而实现线性时间和空间复杂度。
• 提出一种卷积辅助的 Linformer 变体，在降低计算量的同时保持性能。
• 实证表明预训练和下游任务性能可与标准 Transformer 相媲美，同时具备效率提升。

提出的方法

• 通过跨层和跨头的谱分析，证明自注意力上下文映射矩阵具有低秩特性。
• 通过引入投影矩阵 E 与 F 到键和值，提出一种线性自注意力机制，计算复杂度为 O(nk)，其中 k << n。
• 给出理论保证，表明在合适的 k 下，该近似对 P·VW^V 达到 ε-误差。
• 探索实际的效率技术，如参数共享以及跨层/跨头的非均匀投影维度。
• 在 BookCorpus+Wikipedia 上使用 MLM 目标进行预训练，并在 GLUE 任务和 IMDB 上微调以与 Transformer 基线进行比较。

实验结果

研究问题

• RQ1 标准 Transformer 的自注意力是否在有效范围内呈低秩，从而实现准确的低秩近似？
• RQ2 线性时间自注意力机制是否能够匹配标准 NLP 任务上完整自注意力的性能？
• RQ3 投影维度 k 与共享策略对预训练与下游性能有何影响？
• RQ4 Linformer 的效率提升是否会随着序列长度和硬件约束而扩展，同时不造成较大精度损失？

主要发现

• 自注意力上下文映射呈现低秩谱，大部分信息被最大的特征值捕获。
• 使用投影 E 与 F 的线性自注意力变体将复杂度降至 O(nk)，其中 k 明显小于 n，从而实现线性时间计算。
• 在合适的 k 下（例如在报道设定中的 128–256），Linformer 在预训练困惑度和下游任务上可与 RoBERTa 类基线相媲美。
• 层级共享投影矩阵可以在降低参数数量和内存使用的同时保持准确性。
• Linformer 在推理时实现显著的加速和内存节省，特别是在较长的序列长度下，相较于标准 Transformer。