[论文解读] Energy-Constrained Compression for Deep Neural Networks via Weighted Sparse Projection and Layer Input Masking

Haichuan Yang, Yuhao Zhu+1 more|arXiv (Cornell University)|Jun 12, 2018

Advanced Neural Network Applications被引用 26

一句话总结

该论文提出了首个端到端深度神经网络（DNN）训练框架，通过将定量能量估计模型与加权稀疏投影及可训练输入掩码相结合，确保能量消耗在用户指定的预算范围内。该方法将DNN训练建模为约束优化问题，在严格能量限制下相比以往的间接方法（如剪枝和量化）实现了更高的准确率。

ABSTRACT

Deep Neural Networks (DNNs) are increasingly deployed in highly energy-constrained environments such as autonomous drones and wearable devices while at the same time must operate in real-time. Therefore, reducing the energy consumption has become a major design consideration in DNN training. This paper proposes the first end-to-end DNN training framework that provides quantitative energy consumption guarantees via weighted sparse projection and input masking. The key idea is to formulate the DNN training as an optimization problem in which the energy budget imposes a previously unconsidered optimization constraint. We integrate the quantitative DNN energy estimation into the DNN training process to assist the constrained optimization. We prove that an approximate algorithm can be used to efficiently solve the optimization problem. Compared to the best prior energy-saving methods, our framework trains DNNs that provide higher accuracies under same or lower energy budgets. Code is publicly available.

研究动机与目标

• 解决现有DNN压缩技术缺乏定量能量保证的问题，这些技术依赖于剪枝和量化等间接方法。
• 将DNN训练建模为约束优化问题，其中能量消耗通过用户定义的预算显式约束。
• 通过可训练的二值输入掩码，在训练过程中实现对输入稀疏度的直接控制，从而增加能量降低的机会。
• 通过在损失函数中集成知识蒸馏作为正则化项，提升训练收敛性和泛化能力。
• 开发一种高效算法以求解能量约束优化问题，特别是能量约束下的投影步骤。

提出的方法

• 为TPU类脉动阵列硬件上的DNN推理提出一种定量能量估计模型，将能量建模为层权重稀疏度和输入稀疏度的函数。
• 引入一种可训练的二值输入掩码 $ M $，在训练过程中调节输入稀疏度，从而实现对输入数据访问能量的控制。
• 将训练目标建模为在约束 $ E(M, W) ≤ E_{\text{budget}} $ 下最小化准确率损失，其中 $ E $ 为估计的推理能量。
• 使用知识蒸馏来正则化损失函数：$ \bar{\mathcal{L}}_{\lambda,W_{\text{dense}}}(M,W) = (1-\lambda)\mathcal{L}(M,W) + \lambda \mathbb{E}_{X}[\|\phi(X;W) - \phi(X;W_{\text{dense}})\|^{2}/|\phi(\cdot;W)|] $。
• 将能量约束投影步骤建模为0/1背包问题，并证明其可高效求解，从而支持实时优化。
• 将能量估计与约束优化集成到端到端训练流程中，避免使用启发式微调或逐层重训练。

实验结果

研究问题

• RQ1 我们能否设计一种DNN训练框架，为用户指定的预算提供可证明的能量消耗保证？
• RQ2 在DNN训练过程中，如何有效控制输入稀疏度以减少能量消耗，尽管在标准框架中输入是非可训练的？
• RQ3 集成知识蒸馏对能量约束下的DNN训练收敛性和准确率有何影响？
• RQ4 能量约束的投影步骤能否被高效求解？其在大规模DNN上的可扩展性如何？
• RQ5 与依赖间接压缩技术的最先进节能方法相比，所提出的框架在准确率和能效方面表现如何？

主要发现

• 所提出的框架是首个提供端到端训练且具备定量能量保证的框架，确保推理能量始终在用户定义的预算范围内。
• 通过引入可训练输入掩码，该方法实现了对输入稀疏度的控制，显著增加了仅靠权重稀疏度之外的能量节省机会。
• 知识蒸馏的集成改善了训练收敛性并减少了过拟合，从而在稀疏模型中实现了更好的泛化性能。
• 能量约束投影步骤被建模为0/1背包问题，并被高效求解，支持在真实世界DNN训练中的实际部署。
• 评估结果表明，该框架在相同或更低的能量预算下实现了比最先进节能方法更高的模型准确率，展现出更优的能量-准确率权衡。