[论文解读] End-to-End Learning of Energy-Constrained Deep Neural Networks.
本文提出了首个端到端框架，用于在保证量化能量预算的前提下训练能量受限的深度神经网络。通过将加权稀疏投影和输入掩码整合到约束优化过程中，该方法使DNN在严格能量限制下实现比以往方法更高的准确率，且代码已公开。
Deep Neural Networks (DNNs) are increasingly deployed in highly energy-constrained environments such as autonomous drones and wearable devices while at the same time must operate in real-time. Therefore, reducing the energy consumption has become a major design consideration in DNN training. This paper proposes the first end-to-end DNN training framework that provides quantitative energy consumption guarantees via weighted sparse projection and input masking. The key idea is to formulate the DNN training as an optimization problem in which the energy budget imposes a previously unconsidered optimization constraint. We integrate the quantitative DNN energy estimation into the DNN training process to assist the constrained optimization. We prove that an approximate algorithm can be used to efficiently solve the optimization problem. Compared to the best prior energy-saving methods, our framework trains DNNs that provide higher accuracies under same or lower energy budgets. Code is publicly available.
研究动机与目标
- 为解决无人机和可穿戴设备等实时、能量受限环境中对能效更高的DNN的日益增长的需求。
- 将DNN训练形式化为带有硬性能量预算约束的优化问题。
- 将定量能量估计直接整合到训练过程中，以实现精确的能量控制。
- 开发一种高效的近似算法，用于求解约束优化问题。
提出的方法
- 将DNN训练形式化为一个能量预算为硬性约束的约束优化问题。
- 引入加权稀疏投影以控制激活稀疏度，并在推理过程中降低能量消耗。
- 应用输入掩码在计算前抑制非必要输入特征，从而减少能量使用。
- 将可微分的能量估计模块集成到训练流程中，以指导优化。
- 使用一种近似算法高效求解具有理论收敛保证的约束优化问题。
- 端到端训练DNN，联合优化准确率与能量消耗，同时满足预算约束。
实验结果
研究问题
- RQ1DNN训练能否被形式化为一个带有硬性能量预算约束的约束优化问题？
- RQ2如何实现对能量消耗的精确估计，并将其整合到DNN训练过程中？
- RQ3加权稀疏投影和输入掩码能否有效降低能量使用，同时保持模型准确率？
- RQ4是否存在一种高效算法，可大规模求解能量约束下的DNN训练问题？
- RQ5与以往节能方法相比，所提出的框架在准确率和能效方面表现如何？
主要发现
- 在相同或更低的能量预算下，所提框架实现的模型准确率高于当前最先进的节能方法。
- 将能量估计整合到训练中，实现了对能量消耗的精确控制，并提供了定量保证。
- 使用加权稀疏投影和输入掩码能有效降低计算能量，且准确率损失较小。
- 近似算法为约束优化问题提供了高效解法，支持端到端训练。
- 该框架是首个提供显式能量预算约束的端到端训练方法，并实现了可测量的能量节省。
- 公开可用的代码支持可复现性，并推动能量受限深度学习领域的进一步研究。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。