[论文解读] ECC: Energy-Constrained Deep Neural Network Compression via a Bilinear Regression Model.

Haichuan Yang, Yuhao Zhu+1 more|arXiv (Cornell University)|Dec 5, 2018

Advanced Neural Network Applications被引用 4

一句话总结

ECC 提出了一种新颖的能量约束深度神经网络（DNN）压缩框架，采用双线性回归模型估算能量消耗，实现受限优化，在严格能量预算下最小化精度损失。通过结合 ADMM 与基于梯度的学习方法，ECC 在多种硬件平台上均实现了与最先进方法相当或更低的能量约束下更高的精度。

ABSTRACT

Many DNN-enabled vision applications constantly operate under severe energy constraints such as unmanned aerial vehicles, Augmented Reality headsets, and smartphones. Designing DNNs that can meet a stringent energy budget is becoming increasingly important. This paper proposes ECC, a framework that compresses DNNs to meet a given energy constraint while minimizing accuracy loss. The key idea of ECC is to model the DNN energy consumption via a novel bilinear regression function. The energy estimate model allows us to formulate DNN compression as a constrained optimization that minimizes the DNN loss function over the energy constraint. The optimization problem, however, has nontrivial constraints. Therefore, existing deep learning solvers do not apply directly. We propose an optimization algorithm that combines the essence of the Alternating Direction Method of Multipliers (ADMM) framework with gradient-based learning algorithms. The algorithm decomposes the original constrained optimization into several subproblems that are solved iteratively and efficiently. ECC is also portable across different hardware platforms without requiring hardware knowledge. Experiments show that ECC achieves higher accuracy under the same or lower energy budget compared to state-of-the-art resource-constrained DNN compression techniques.

研究动机与目标

• 应对移动设备和边缘设备（如无人机、AR 头戴设备和智能手机）中对能效更高的深度神经网络日益增长的需求。
• 在严格的能量预算约束下压缩 DNN 时，最小化精度损失。
• 开发一种与硬件无关的压缩框架，无需依赖详细的硬件特定知识。
• 将 DNN 压缩建模为以能量作为硬约束的约束优化问题。
• 实现在无需为每个硬件目标重新训练的情况下，实现压缩模型的可移植性与跨平台部署。

提出的方法

• 使用一种新颖的双线性回归函数建模 DNN 的能量消耗，以捕捉层间参数与操作之间的非线性相互作用。
• 将压缩任务建模为一个约束优化问题，即在用户定义的能量预算下最小化 DNN 损失。
• 提出一种结合交替方向乘子法（ADMM）与基于梯度的学习的优化算法，以求解非凸且具有约束的优化问题。
• 将原始问题分解为若干子问题，通过迭代求解实现高效且稳定的收敛。
• 通过在模型权重与辅助变量之间交替更新，同时在保持模型精度的前提下强制执行能量约束。
• 通过避免使用硬件特定的能量估算方法，转而依赖可泛化的双线性能量模型，确保在不同硬件平台上的可移植性。

实验结果

研究问题

• RQ1 双线性回归模型能否在多种硬件平台上准确估算 DNN 的能量消耗？
• RQ2 在能量预算约束下，通过约束优化在 DNN 压缩过程中多大程度上能有效减少精度损失？
• RQ3 所提出的基于 ADMM 的优化框架是否在相同能量约束下优于现有的基于梯度的方法或启发式压缩方法？
• RQ4 该框架在无需重新训练或硬件特定调优的情况下，其在不同硬件平台上的可移植性达到何种程度？
• RQ5 该方法是否能在满足或降低能量消耗的同时，实现比最先进技术更高的精度？

主要发现

• 在相同或更低的能量预算下，ECC 实现的精度高于最先进资源约束下的 DNN 压缩技术。
• 双线性回归模型无需硬件特定校准即可提供有效且可泛化的 DNN 能量消耗估算。
• 基于 ADMM 的优化框架成功处理了能量约束压缩问题中的非平凡约束。
• 该框架无需硬件特定知识或重新训练，即可在不同硬件平台上实现可移植性。
• 实验表明，与现有方法相比，该框架在能量约束下实现了精度的一致性提升。
• 该方法实现了高效、迭代式的压缩，能够有效平衡精度与能效。