[论文解读] LadaBERT: Lightweight Adaptation of BERT through Hybrid Model Compression

Yihuan Mao, Yujing Wang+7 more|arXiv (Cornell University)|Apr 8, 2020

Topic Modeling参考文献 32被引用 19

一句话总结

LadaBERT 提出了一种混合模型压缩框架，结合了权重剪枝、矩阵分解和知识蒸馏，以创建参数量显著减少的轻量化 BERT 变体，同时大幅降低训练成本。该方法在多个自然语言理解基准上实现了最先进（SOTA）的准确率，相较于现有的基于蒸馏的方法，训练速度最高可提升一个数量级。

ABSTRACT

BERT is a cutting-edge language representation model pre-trained by a large corpus, which achieves superior performances on various natural language understanding tasks. However, a major blocking issue of applying BERT to online services is that it is memory-intensive and leads to unsatisfactory latency of user requests, raising the necessity of model compression. Existing solutions leverage the knowledge distillation framework to learn a smaller model that imitates the behaviors of BERT. However, the training procedure of knowledge distillation is expensive itself as it requires sufficient training data to imitate the teacher model. In this paper, we address this issue by proposing a hybrid solution named LadaBERT (Lightweight adaptation of BERT through hybrid model compression), which combines the advantages of different model compression methods, including weight pruning, matrix factorization and knowledge distillation. LadaBERT achieves state-of-the-art accuracy on various public datasets while the training overheads can be reduced by an order of magnitude.

研究动机与目标

• 解决现有 BERT 压缩方法依赖大量微调所带来的高计算与数据成本问题。
• 在不损失性能的前提下，降低蒸馏小型 BERT 模型的训练开销。
• 在内存与延迟约束下，开发一种轻量化、高效的生成任务自适应 BERT 模型的流水线。
• 探索在单一迭代框架中结合多种压缩技术的协同效应。

提出的方法

• LadaBERT 使用从预训练 BERT 教师模型开始的迭代式混合压缩流水线。
• 在每次迭代中，学生模型通过权重剪枝和矩阵分解来减少参数量。
• 压缩后的学生模型通过知识蒸馏方法，利用教师模型的软标签进行微调。
• 通过 SVD 应用矩阵分解，将权重矩阵分解为低秩分量后再进行剪枝。
• 该过程结合了稀疏性（剪枝）与低秩结构（分解），以提升蒸馏效率。
• 该框架被迭代应用，以实现目标压缩比，同时保持准确率。

实验结果

研究问题

• RQ1 将权重剪枝与矩阵分解相结合，能否提升 BERT 压缩中知识蒸馏的效率与准确率？
• RQ2 与纯蒸馏方法相比，混合压缩在多大程度上可减少训练时间与数据需求？
• RQ3 多次压缩技术的迭代应用是否优于单一方法的方案？
• RQ4 在准确率与训练速度方面，该混合方法与 SOTA 模型（如 TinyBERT 和 DistilBERT）相比表现如何？

主要发现

• LadaBERT 在五个公开的 NLU 数据集上实现了最先进（SOTA）的准确率，在不同压缩比下均优于现有压缩基线。
• 在 2.5× 压缩比下，LadaBERT 显著优于 BERT-PKD 的准确率，同时将训练时间减少了一个数量级。
• 在 7.5× 压缩比下，LadaBERT 在 MNLI-m 和 QQP 数据集上的性能超越 TinyBERT，且收敛速度提升 10 倍。
• LadaBERT-3 的性能与从零开始预训练的 BERT-Small 相当，但训练成本远低于后者。
• 混合剪枝方法（SVD + 权重剪枝）相比仅使用剪枝或仅使用分解，能产生更平滑的偏置分布，并提升微调稳定性。
• 学习曲线显示，LadaBERT 在 MNLI-m 上约 20,000 步即可收敛，而 TinyBERT 需约 200,000 步，表明训练速度提升 10 倍。