[论文解读] A Survey on Model Compression and Acceleration for Pretrained Language Models

Canwen Xu, Julian McAuley|arXiv (Cornell University)|Feb 15, 2022

Topic Modeling被引用 8

一句话总结

本综述全面回顾了预训练语言模型（PLMs）的模型压缩与加速技术，重点聚焦于剪枝、量化、知识蒸馏和动态推理等方法，以降低计算成本、内存占用和碳足迹。该综述提出了一套统一的分类体系、基准测试与评估指标，同时指出了评估、鲁棒性与自动化方面的挑战，并倡导实现可持续且包容性的NLP部署。

ABSTRACT

Despite achieving state-of-the-art performance on many NLP tasks, the high energy cost and long inference delay prevent Transformer-based pretrained language models (PLMs) from seeing broader adoption including for edge and mobile computing. Efficient NLP research aims to comprehensively consider computation, time and carbon emission for the entire life-cycle of NLP, including data preparation, model training and inference. In this survey, we focus on the inference stage and review the current state of model compression and acceleration for pretrained language models, including benchmarks, metrics and methodology.

研究动机与目标

• 系统性回顾预训练语言模型（PLMs）的模型压缩与加速技术，以提升推理效率。
• 建立现有方法的统一分类体系，包括剪枝、量化、知识蒸馏和动态推理。
• 采用标准化指标（如FLOPs、推理时间、加速比、模型大小和碳足迹）对技术进行评估与比较。
• 识别评估、鲁棒性与人工依赖方面的关键挑战，并倡导发展更具可解释性、鲁棒性与自动化的压缩方法。
• 通过降低大尺寸PLMs的环境与硬件门槛，推动可持续且包容性的NLP部署。

提出的方法

• 对关键压缩技术进行分类与分析：权重重用、低秩分解、剪枝、量化、知识蒸馏、早期退出和标记跳过。
• 提出并评估包括FLOPs、推理时间、加速比、模型大小、碳足迹、保真度和鲁棒性在内的指标。
• 提出决策树（图2），指导从业者根据任务、硬件和约束条件选择合适的技术。
• 回顾基于注意力机制或学习机制跳过标记的动态推理方法，如PoWER-BERT、TR-BERT、LAT、LTP和Transkimmer。
• 强调组合多种技术（如蒸馏+剪枝）可提升准确率与速度之间的帕累托效率。
• 呼吁未来在元学习与神经架构搜索方面开展研究，以自动化压缩超参数选择，减少对人工经验的依赖。

实验结果

研究问题

• RQ1 哪些模型压缩与加速技术在PLMs的准确率、速度与模型大小之间提供了最佳权衡？
• RQ2 标准化基准测试与指标如何提升不同研究之间压缩技术的可比性？
• RQ3 压缩对模型鲁棒性与对抗脆弱性有何影响？
• RQ4 如何提升压缩模型的可解释性与可靠性，以支持生产环境部署？
• RQ5 自动化方法（如元学习或神经架构搜索）在减少模型压缩中的人工投入方面可发挥何种作用？

主要发现

• 知识蒸馏、剪枝和量化等模型压缩技术可在保持最小准确率损失的前提下显著减少模型大小与推理时间。
• PoWER-BERT与TR-BERT等动态推理方法通过基于注意力分数学习跳过标记，实现了更优的准确率-速度权衡。
• CodeCarbon与Experiment Impact Tracker等碳足迹估算工具对于评估模型训练与部署的环境影响至关重要。
• 保真度与忠诚度指标为蒸馏压缩中的知识迁移质量提供了可解释的度量方式。
• 组合多种技术（如蒸馏+剪枝）通常比单一方法在性能与效率上表现更优。
• 当前的评估实践缺乏标准化，导致跨研究比较困难，尤其是在不同硬件与任务之间。