[论文解读] DeepTwist: Learning Model Compression via Occasional Weight Distortion

Dongsoo Lee, Parichay Kapoor+1 more|arXiv (Cornell University)|Oct 30, 2018

Speech Recognition and Synthesis参考文献 15被引用 21

一句话总结

DeepTwist 是一个统一的模型压缩框架，通过在训练过程中偶尔应用结构化的权重失真，增强剪枝、量化和低秩近似，而无需修改底层算法。它在极少超参数调优的情况下实现了更高的压缩比，甚至在测试困惑度上超越了预训练模型，展现出强大的正则化效果。

ABSTRACT

Model compression has been introduced to reduce the required hardware resources while maintaining the model accuracy. Lots of techniques for model compression, such as pruning, quantization, and low-rank approximation, have been suggested along with different inference implementation characteristics. Adopting model compression is, however, still challenging because the design complexity of model compression is rapidly increasing due to additional hyper-parameters and computation overhead in order to achieve a high compression ratio. In this paper, we propose a simple and efficient model compression framework called DeepTwist which distorts weights in an occasional manner without modifying the underlying training algorithms. The ideas of designing weight distortion functions are intuitive and straightforward given formats of compressed weights. We show that our proposed framework improves compression rate significantly for pruning, quantization, and low-rank approximation techniques while the efforts of additional retraining and/or hyper-parameter search are highly reduced. Regularization effects of DeepTwist are also reported.

研究动机与目标

• 解决模型压缩技术日益复杂的问题，这些技术通常需要定制化的训练算法和大量的超参数调优。
• 开发一个统一的框架，增强多种压缩方法（剪枝、量化和低秩近似），而无需修改现有的训练流程。
• 减少通常在实现高阶压缩比时所伴随的计算和超参数调优开销。
• 探索偶尔的权重失真是否可作为正则化器，提升泛化能力，并实现优于原始预训练模型的性能。

提出的方法

• DeepTwist 在预设的训练间隔内引入偶尔的、非均匀的权重失真，将该过程视为一种权重噪声注入的形式。
• 失真函数基于目标压缩格式（例如，二值化、低秩、量化）设计，确保与现有压缩技术的兼容性。
• 不修改基础训练算法；无论压缩类型如何，仅引入一个额外的超参数（失真频率）。
• 失真被选择性且稀疏地应用，最大限度减少计算开销，同时使模型能够探索损失函数景观中的更优局部极小值。
• 对于低秩近似，失真后对权重矩阵应用 SVD，并迭代降低秩以在保持准确率的同时最大化压缩率。
• 该框架支持使用标准优化器的端到端训练，可无缝集成至现有的深度学习流水线。

实验结果

研究问题

• RQ1 在不修改训练算法的前提下，偶尔的权重失真是否能提升多种模型压缩技术的性能？
• RQ2 所提出的失真机制是否起到正则化作用，使泛化能力超越预训练模型？
• RQ3 与传统方法相比，使用 DeepTwist 时实现压缩所需的超参数数量有何变化？
• RQ4 DeepTwist 在多大程度上可增强低秩近似，特别是在保持或降低测试困惑度方面？
• RQ5 失真频率和初始学习率对压缩模型收敛速度和模型准确率的影响如何？

主要发现

• 基于 DeepTwist 的 SVD 压缩在秩 r=96 时达到测试困惑度 82.02（无投影层），低于预训练模型的 83.78，表明即使在压缩后性能仍得到提升。
• 当 r=256 时，使用优化后的初始学习率 2.0，困惑度降至 81.75，优于传统 SVD 方法和预训练基线。
• 该方法将达到最低困惑度所需的微调时间缩短至预训练时间的一半左右，表明收敛速度显著加快。
• 奇异值谱分析显示，失真促进了前 r 个奇异值的增长以及 r 之后奇异值的衰减，表明实现了有效的低秩近似。
• 即使在固定初始学习率下，DeepTwist 的 SVD 在所有测试秩下均持续优于传统 SVD，验证了其鲁棒性。
• 该框架在极少超参数调优且无需更改训练流水线的情况下实现了高阶压缩比，验证了其实际可用性和可扩展性。