[论文解读] A Practical Survey on Faster and Lighter Transformers

Quentin Fournier, Gaétan Marceau Caron+1 more|arXiv (Cornell University)|Mar 26, 2021

Real-time simulation and control systems被引用 13

一句话总结

本综述全面分析了加速和压缩Transformer模型的技术，涵盖通用效率方法（如混合精度训练和梯度检查点）以及专用的低复杂度架构（如Longformer、Reformer、Linformer和Performer）。该综述提供了基于模型容量、计算量和内存使用之间权衡的实用指导，强调预训练模型和高效训练实践在实际部署中的重要性。

ABSTRACT

Recurrent neural networks are effective models to process sequences. However, they are unable to learn long-term dependencies because of their inherent sequential nature. As a solution, Vaswani et al. introduced the Transformer, a model solely based on the attention mechanism that is able to relate any two positions of the input sequence, hence modelling arbitrary long dependencies. The Transformer has improved the state-of-the-art across numerous sequence modelling tasks. However, its effectiveness comes at the expense of a quadratic computational and memory complexity with respect to the sequence length, hindering its adoption. Fortunately, the deep learning community has always been interested in improving the models' efficiency, leading to a plethora of solutions such as parameter sharing, pruning, mixed-precision, and knowledge distillation. Recently, researchers have directly addressed the Transformer's limitation by designing lower-complexity alternatives such as the Longformer, Reformer, Linformer, and Performer. However, due to the wide range of solutions, it has become challenging for researchers and practitioners to determine which methods to apply in practice in order to meet the desired trade-off between capacity, computation, and memory. This survey addresses this issue by investigating popular approaches to make Transformers faster and lighter and by providing a comprehensive explanation of the methods' strengths, limitations, and underlying assumptions.

研究动机与目标

• 为解决标准Transformer模型计算和内存复杂度高的问题，从而限制其在资源受限环境中的部署。
• 评估并比较不同场景下的通用效率技术（如混合精度训练、梯度检查点、剪枝和知识蒸馏）。
• 分析专用的低复杂度Transformer变体（如Longformer、Reformer、Linformer、Performer）及其基本假设、优势和局限性。
• 为研究人员和实践者提供切实可行的建议，根据任务需求和资源约束选择最合适的效率策略。
• 强调高效Transformer的广泛影响，包括提升可及性、降低环境成本以及拓展应用领域。

提出的方法

• 系统性回顾并分类30余种针对Transformer效率的优化技术与架构。
• 将方法分为通用神经网络优化（如混合精度、剪枝、蒸馏）与注意力复杂度降低的专用Transformer变体。
• 分析低复杂度模型背后的架构假设，如Longformer中的稀疏注意力、Performer中的核近似以及Linformer中的低秩分解。
• 评估各类方法在模型表达能力、推理速度、内存使用和训练稳定性之间的权衡。
• 结合实验基准和理论复杂度分析比较方法，包括将相对有效上下文长度（RECL）作为性能指标。
• 基于任务特定约束提出推荐框架：在低资源环境下优先使用预训练模型；在从零开始训练时采用混合精度与梯度检查点的组合策略。

实验结果

研究问题

• RQ1 哪些通用效率技术（如混合精度、梯度检查点）能以最低的实现成本带来最实用的收益？
• RQ2 专用的低复杂度Transformer变体（如Reformer、Performer）如何在保持性能的同时降低注意力复杂度？
• RQ3 每种低复杂度Transformer架构的关键假设和局限性是什么？在何种情况下应优先选择？
• RQ4 效率技术如何与模型缩放相互作用？它们能否在不牺牲泛化能力的前提下有效训练小型模型？
• RQ5 高效Transformer对研究公平性、环境可持续性以及实际部署的更广泛影响是什么？

主要发现

• 混合精度训练和梯度检查点被推荐为简单、高效且广泛适用的技术，可在极少工程投入下显著降低内存和计算需求。
• 当可用时强烈建议使用预训练模型，因其以极低的训练成本实现高性能，通常比从零开始训练更高效。
• 如Longformer和Reformer等专用架构通过引入稀疏注意力模式实现长上下文建模，提升了标准自注意力之外的可扩展性。
• Performer和Linformer分别通过线性或低秩注意力近似，将二次复杂度降低为线性或次二次，从而实现在长序列上的更快推理。
• 尽管具有理论优势，低复杂度模型通常需要仔细的超参数调优，且在需要高注意力表达能力的任务上可能表现欠佳。
• 大型模型（如GPT-3、BERT）持续扩大的趋势表明性能随规模提升，但这与效率目标相悖——因此高效架构对实现可持续进步至关重要。