[论文解读] AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks

Alexandra Peşte, Eugenia Iofinova+2 more|arXiv (Cornell University)|Jun 23, 2021

Advanced Neural Network Applications参考文献 53被引用 11

一句话总结

AC/DC 提出了一种用于深度神经网络的新型交替压缩/解压缩训练方法，通过在固定支持下循环进行密集训练阶段和稀疏优化阶段，联合训练稀疏与密集模型。该方法在稀疏训练中实现了最先进（SOTA）的准确率，优于现有的稀疏训练方法和事后剪枝方法，即使在高稀疏度下也表现优异，同时在平滑非凸目标下保证收敛。

ABSTRACT

The increasing computational requirements of deep neural networks (DNNs) have led to significant interest in obtaining DNN models that are sparse, yet accurate. Recent work has investigated the even harder case of sparse training, where the DNN weights are, for as much as possible, already sparse to reduce computational costs during training. Existing sparse training methods are often empirical and can have lower accuracy relative to the dense baseline. In this paper, we present a general approach called Alternating Compressed/DeCompressed (AC/DC) training of DNNs, demonstrate convergence for a variant of the algorithm, and show that AC/DC outperforms existing sparse training methods in accuracy at similar computational budgets; at high sparsity levels, AC/DC even outperforms existing methods that rely on accurate pre-trained dense models. An important property of AC/DC is that it allows co-training of dense and sparse models, yielding accurate sparse-dense model pairs at the end of the training process. This is useful in practice, where compressed variants may be desirable for deployment in resource-constrained settings without re-doing the entire training flow, and also provides us with insights into the accuracy gap between dense and compressed models. The code is available at: https://github.com/IST-DASLab/ACDC .

研究动机与目标

• 解决现有稀疏训练方法缺乏理论收敛保证的问题。
• 缩小训练过程中稀疏模型与密集模型之间的准确率差距。
• 在单一训练过程中实现高精度稀疏与密集模型的联合训练。
• 提供一种实用且高效的训练方案，在降低计算成本的同时保持高准确率。
• 理解联合训练过程中稀疏与密集模型预测之间的相关性。

提出的方法

• AC/DC 在固定剪枝权重支持下，交替进行标准密集训练阶段与稀疏优化阶段。
• 在稀疏阶段，仅更新由剪枝掩码确定的一小部分权重，其余权重固定为零，从而实现 FLOP 节省。
• 该方法采用迭代硬阈值化（IHT）原理以保持稀疏性，并在平滑非凸目标下保证收敛。
• 训练过程使用与标准训练相同的超参数（如学习率、批量大小），阶段长度设置为标准值（如 5–10 个周期）。
• 最终返回的模型为最后一次稀疏阶段的稀疏模型，而最后一次密集阶段的密集模型则通过微调以匹配密集基线的准确率。
• 稀疏度调度设计用于最小化连续阶段之间的掩码差异，从而提升模型质量。

实验结果

研究问题

• RQ1 一种采用交替密集与稀疏阶段的稀疏训练方法，能否在平滑非凸目标下实现理论收敛？
• RQ2 稀疏与密集模型的联合训练是否能缩小稀疏与密集基线之间的准确率差距？
• RQ3 AC/DC 是否能在高稀疏度下超越事后剪枝和现有稀疏训练方法？
• RQ4 阶段长度与稀疏度调度如何影响模型准确率与计算效率？
• RQ5 在联合训练过程中，稀疏与密集模型的个体预测之间存在何种关系？

主要发现

• 在 90% 稀疏度下，AC/DC 在 ImageNet 上使用 ResNet50 达到 75.18% 的 top-1 准确率，优于现有稀疏训练方法，并在高稀疏度下与或超过事后剪枝方法的表现。
• AC/DC 微调后的密集模型达到 76.87% 准确率，与密集基线非常接近，证明了有效联合训练。
• AC/DC 在 100 个周期内，每 10 个周期交替一次阶段，实现 0.7× 的训练 FLOPs 相对于密集基线，且准确率损失可忽略。
• 更长的最终解压缩阶段可提升微调后密集模型的准确率，表明延长微调有助于模型恢复。
• 在阶段之间具有非平凡掩码差异的稀疏度调度，可带来更好的稀疏模型性能。
• 使用 FP16 的混合精度训练在 AC/DC 中引入 0.2–0.3% 的准确率下降，表明该交替机制对精度较为敏感。