[论文解读] Designing Adaptive Neural Networks for Energy-Constrained Image Classification

Dimitrios Stamoulis, Ting-Wu Chin+5 more|arXiv (Cornell University)|Aug 5, 2018

Advanced Neural Network Applications参考文献 30被引用 4

一句话总结

本文提出了一种全局优化的自适应CNN框架，联合调优网络架构与选择策略，以应对移动设备上的能效约束。通过将设计问题建模为超参数优化问题，并结合硬件感知的微调策略增强贝叶斯优化，该方法在移动片上系统（SoC）上相较以往的黑箱CNN方法将能耗降低最多达6倍。

ABSTRACT

As convolutional neural networks (CNNs) enable state-of-the-art computer vision applications, their high energy consumption has emerged as a key impediment to their deployment on embedded and mobile devices. Towards efficient image classification under hardware constraints, prior work has proposed adaptive CNNs, i.e., systems of networks with different accuracy and computation characteristics, where a selection scheme adaptively selects the network to be evaluated for each input image. While previous efforts have investigated different network selection schemes, we find that they do not necessarily result in energy savings when deployed on mobile systems. The key limitation of existing methods is that they learn only how data should be processed among the CNNs and not the network architectures, with each network being treated as a blackbox. To address this limitation, we pursue a more powerful design paradigm where the architecture settings of the CNNs are treated as hyper-parameters to be globally optimized. We cast the design of adaptive CNNs as a hyper-parameter optimization problem with respect to energy, accuracy, and communication constraints imposed by the mobile device. To efficiently solve this problem, we adapt Bayesian optimization to the properties of the design space, reaching near-optimal configurations in few tens of function evaluations. Our method reduces the energy consumed for image classification on a mobile device by up to 6x, compared to the best previously published work that uses CNNs as blackboxes. Finally, we evaluate two image classification practices, i.e., classifying all images locally versus over the cloud under energy and communication constraints.

研究动机与目标

• 解决先前自适应CNN方法将网络视为黑箱的问题，仅优化选择策略而忽略架构调优的局限性。
• 通过在硬件约束下联合优化网络架构与选择方案，克服现有方法在真实移动平台上的低效问题。
• 实现面向移动部署的系统性、基于硬件实测的自适应CNN优化，重点关注能效、准确率与通信开销之间的权衡。
• 证明架构超参数（如卷积核数量、隐藏单元数）对能效有显著影响，应进行全局优化。
• 探索本地与远程推理之间的权衡，表明混合式本地/云端执行可进一步降低能耗。

提出的方法

• 将自适应CNN的设计问题建模为超参数优化问题，将网络架构参数（如特征图数量、隐藏单元数）视为可调超参数。
• 应用贝叶斯优化（BO）高效探索高维设计空间，并引入一种新颖的κ-基微调步骤，以加速在过度约束区域的收敛。
• 利用商用Nvidia Tegra TX1移动SoC的真实硬件测量数据指导优化，确保结果真实反映实际能耗。
• 集成通信成本建模，以评估混合式本地-云端推理策略，实现计算与数据传输能耗之间的权衡分析。
• 构建Pareto前沿，用于在能效、准确率与通信约束之间比较不同设计方案，识别近似最优配置。
• 通过全面的网格搜索验证方法，并在CIFAR-10数据集上与最先进静态基线方法（如Bolukbasi et al.、Park et al.）进行对比。

实验结果

研究问题

• RQ1 在移动平台上，联合优化网络架构与选择策略是否能显著降低自适应CNN的能耗？
• RQ2 与固定网络架构的黑箱方法相比，硬件感知的超参数优化方法在性能上表现如何？
• RQ3 在相同准确率约束下，与完全本地执行相比，混合式本地-云端推理在多大程度上可降低能耗？
• RQ4 在能效约束的设计空间中，贝叶斯优化中引入κ-基微调步骤是否能提升收敛速度与解的质量？
• RQ5 自适应系统中网络数量的多少如何影响能耗效率与准确率之间的权衡？

主要发现

• 所提出的BO⁺方法在满足准确率约束下，相较最佳先前发表的黑箱CNN方法，能耗降低最多达6倍。
• 在能效约束下，该方法相较先前工作在准确率上提升31.13%，证明其在准确率-能耗权衡优化方面表现更优。
• 在准确率约束下，贝叶斯优化中引入κ-基微调步骤使能耗降低13.18%；在能效约束下，降低幅度达21.22%。
• 混合执行策略——仅最小的CNN在本地运行，其余较大模型被卸载至云端——相较完全本地执行，在相同错误率水平下能耗降低2.96倍。
• 采用BO⁺方法的三网络自适应设计在3%准确率退化约束下实现最低113.59 mJ能耗，仅比最优网格搜索结果高4.74%。
• Pareto前沿分析表明，该方法泛化能力良好，验证集上未观察到过拟合现象，并成功识别出在多种约束下的近似最优配置。