[论文解读] Efficient Methods for Natural Language Processing: A Survey

Marcos Treviso, Ji-Ung Lee+20 more|arXiv (Cornell University)|Aug 31, 2022

Topic Modeling被引用 11

一句话总结

本综述整合了自然语言处理（NLP）中的高效方法，以减少资源消耗——如数据、计算和能源使用——同时保持性能。它涵盖了数据过滤、模型压缩、量化、知识蒸馏、稀疏训练和高效推理，为资源受限的研究提供指导，并指明了高效NLP系统未来有前景的研究方向。

ABSTRACT

Recent work in natural language processing (NLP) has yielded appealing results from scaling model parameters and training data; however, using only scale to improve performance means that resource consumption also grows. Such resources include data, time, storage, or energy, all of which are naturally limited and unevenly distributed. This motivates research into efficient methods that require fewer resources to achieve similar results. This survey synthesizes and relates current methods and findings in efficient NLP. We aim to provide both guidance for conducting NLP under limited resources, and point towards promising research directions for developing more efficient methods.

研究动机与目标

• 应对大规模NLP模型日益增长的资源需求，包括计算、数据和能源使用。
• 全面概述算法与硬件感知技术，以提升NLP管道各环节的效率。
• 为资源有限的研究人员提供选择和应用高效NLP方法的指导。
• 识别开发更可持续和可访问的NLP系统过程中存在的开放挑战与未来研究方向。
• 基于成本-性能权衡，标准化高效NLP模型的评估与模型选择实践。

提出的方法

• 调查并分类数据效率技术，如过滤、去重和课程学习，以在不牺牲性能的前提下减少训练数据规模。
• 回顾模型设计改进，包括知识蒸馏、剪枝、量化（例如Q8BERT、TernaryBERT）以及稀疏专家模型（例如MoE），以减小模型大小并降低推理成本。
• 研究高效的预训练与微调策略，包括少样本学习、超参数效率和基于课程的训练调度。
• 分析推理时的优化技术，如模型蒸馏、量化和稀疏推理，以加速推理并减少内存和能耗。
• 提出一个涵盖NLP管道全阶段的高效NLP方法分类体系：数据、模型设计、预训练、微调、推理和模型选择。
• 提出综合考虑成本因素（执行成本、数据集大小、超参数调优）的评估框架，以整体化评估效率。

实验结果

研究问题

• RQ1 如何通过过滤和课程学习提升数据效率，同时不损害模型性能？
• RQ2 哪些最有效的模型压缩技术（如蒸馏、剪枝、量化）可用于减少NLP中的模型大小和推理成本？
• RQ3 如何在计算和数据使用方面使预训练与微调更加高效？
• RQ4 在NLP管道的不同阶段，模型效率与性能之间的关键权衡是什么？
• RQ5 如何基于成本-性能指标而非仅准确率来指导高效模型的选择？

主要发现

• 通过使用MinhashLSH等方法对训练数据进行去重，可显著降低计算成本，同时保持或提升模型性能。
• 对抗性过滤和课程学习可在仅使用原始数据2%的情况下实现与完整训练数据相当的性能（例如在SNLI数据集中）。
• 量化技术如Q8BERT和TernaryBERT可实现8位及超低比特推理，且准确率下降极小。
• 稀疏专家模型（如MoE）和一次性剪枝方法可通过实现动态参数共享和早期停止，实现高效的训练与推理。
• 知识蒸馏和蒸馏感知训练（如TernaryBERT）使更小的学生模型能够匹配甚至超越教师模型的性能，同时显著降低资源消耗。
• 高效的超参数调优与模型选择框架可减少所需训练次数，从而在不降低模型质量的前提下降低整体训练成本。