[论文解读] CPT: Efficient Deep Neural Network Training via Cyclic Precision

Yonggan Fu, Han Guo+5 more|arXiv (Cornell University)|Jan 25, 2021

Machine Learning and Data Classification参考文献 57被引用 11

一句话总结

本文提出循环精度训练（Cyclic Precision Training, CPT），一种动态低精度训练方法，在DNN训练过程中在两个精度边界之间循环变化精度，以提升优化效果与训练效率。CPT在保持或提升准确率的同时，持续将训练效率提升高达48%，并改善泛化性能，适用于多种模型与数据集。

ABSTRACT

Low-precision deep neural network (DNN) training has gained tremendous attention as reducing precision is one of the most effective knobs for boosting DNNs' training time/energy efficiency. In this paper, we attempt to explore low-precision training from a new perspective as inspired by recent findings in understanding DNN training: we conjecture that DNNs' precision might have a similar effect as the learning rate during DNN training, and advocate dynamic precision along the training trajectory for further boosting the time/energy efficiency of DNN training. Specifically, we propose Cyclic Precision Training (CPT) to cyclically vary the precision between two boundary values which can be identified using a simple precision range test within the first few training epochs. Extensive simulations and ablation studies on five datasets and eleven models demonstrate that CPT's effectiveness is consistent across various models/tasks (including classification and language modeling). Furthermore, through experiments and visualization we show that CPT helps to (1) converge to a wider minima with a lower generalization error and (2) reduce training variance which we believe opens up a new design knob for simultaneously improving the optimization and efficiency of DNN training. Our codes are available at: https://github.com/RICE-EIC/CPT.

研究动机与目标

• 解决训练大规模深度神经网络（DNN）带来的高计算与能耗问题，尤其针对资源有限的边缘设备。
• 克服静态低精度训练的局限性，后者在整个训练过程中固定精度，可能阻碍收敛与泛化。
• 探索动态精度调度作为一种新型优化调控手段，受精度与学习率在DNN训练动态中类比关系的启发。
• 开发一种实用且可自动调节的方法，在训练初期快速识别最优精度边界，计算开销极低。
• 在多种模型与任务（包括图像分类与语言建模）中，持续提升训练效率与模型准确率。

提出的方法

• 提出循环精度训练（CPT）框架，通过在DNN训练过程中动态循环两个用户定义的精度边界，实现精度的动态变化。
• 在训练前几个周期内使用简单的精度范围测试，以极低的计算成本自动识别最优下限与上限精度。
• 采用余弦形状的循环精度调度，模拟循环学习率策略，以平衡探索（低精度）与收敛（高精度）。
• 将CPT无缝集成至标准DNN训练流程中，支持权重、激活值、梯度与误差的混合精度训练。
• 支持多种循环模式（如三角形、余弦退火），并评估其对性能与鲁棒性的影响。
• 支持低精度梯度的反向传播，并结合误差补偿机制，以维持训练的稳定性和准确性。

实验结果

研究问题

• RQ1 与静态低精度训练相比，DNN训练期间动态调整精度是否能提升优化效果与泛化能力？
• RQ2 能否在训练初期以极低的计算开销，自动识别出最优精度边界？
• RQ3 CPT如何影响不同模型与数据集在收敛至更宽极小值及泛化误差方面的表现？
• RQ4 不同循环精度调度方式（如余弦、三角形）对训练效率与模型准确率有何影响？
• RQ5 CPT能否在多种DNN架构与任务中，持续提升准确率与训练效率的帕累托前沿？

主要发现

• 在ResNet-74与CIFAR-100上，CPT将计算成本降低高达48.0%，同时相比静态基线模型，测试准确率最高提升2.03%。
• 在11个模型与5个数据集（包括ImageNet与语言建模任务）上，CPT持续实现更高准确率（最高+2.03%）与更低计算成本（最低-48.0%）。
• CPT显著降低训练方差，箱线图显示重复实验中准确率分布更紧密，表明训练过程更稳定。
• 采用不同循环模式（余弦、三角形、余弦退火）的CPT均持续优于静态基线，部分模式在特定模型上甚至超越余弦调度的准确率表现。
• 损失曲面可视化结果表明，CPT收敛至泛化误差更低的更宽极小值，验证了其优化优势。
• 精度范围测试在训练前几个周期内即可识别出最优边界，计算开销可忽略，使CPT无需预先调参即可实现实际部署。