[论文解读] Energy-Aware Neural Architecture Optimization with Fast Splitting Steepest Descent

Dilin Wang, Meng Li+3 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Neural Network Applications参考文献 31被引用 9

一句话总结

本文提出了一种节能型神经架构搜索方法，通过在分割过程中整合能耗成本，并引入一种快速瑞利商随机梯度算法，以降低计算成本，从而改进Liu等人（2019b）的方法。该方法在ImageNet上实现了最先进的准确率-FLOPs权衡，相较于MobileNetV2提升了0.8%的top-1准确率，相较于MobileNetV1提升了1.0%，同时保持了较低的FLOPs。

ABSTRACT

Designing energy-efficient networks is of critical importance for enabling state-of-the-art deep learning in mobile and edge settings where the computation and energy budgets are highly limited. Recently, Liu et al. (2019) framed the search of efficient neural architectures into a continuous splitting process: it iteratively splits existing neurons into multiple off-springs to achieve progressive loss minimization, thus finding novel architectures by gradually growing the neural network. However, this method was not specifically tailored for designing energy-efficient networks, and is computationally expensive on large-scale benchmarks. In this work, we substantially improve Liu et al. (2019) in two significant ways: 1) we incorporate the energy cost of splitting different neurons to better guide the splitting process, thereby discovering more energy-efficient network architectures; 2) we substantially speed up the splitting process of Liu et al. (2019), which requires expensive eigen-decomposition, by proposing a highly scalable Rayleigh-quotient stochastic gradient algorithm. Our fast algorithm allows us to reduce the computational cost of splitting to the same level of typical back-propagation updates and enables efficient implementation on GPU. Extensive empirical results show that our method can train highly accurate and energy-efficient networks on challenging datasets such as ImageNet, improving a variety of baselines, including the pruning-based methods and expert-designed architectures.

研究动机与目标

• 解决现有神经架构搜索方法在资源受限的移动和边缘环境中的低效问题。
• 通过在分割过程中引入能耗成本，改进Liu等人（2019b）的方法，以引导发现更节能的神经架构。
• 降低原始分割最速下降法中特征分解的高计算成本，特别是针对大规模网络。
• 通过一种新型随机梯度近似方法，实现在GPU上高效、可扩展的分割过程实现。
• 在ImageNet等大规模基准测试中，相较于剪枝基线方法和人工设计模型，实现更优的准确率-FLOPs权衡。

提出的方法

• 提出一种节能型分割过程，优先分割能耗成本较低的神经元，引导架构搜索向更高效模型发展。
• 提出一种快速瑞利商随机梯度算法，用于近似特征分解步骤，将时间复杂度从O(nd³)降低至O(nd²)。
• 将空间复杂度从O(nd²)降低至O(nd)，实现高效的GPU实现和大规模网络训练。
• 保持Liu等人（2019b）的连续优化框架，利用无穷维空间中的最速下降法，实现隐式的架构空间探索。
• 整合参数更新与分割阶段：首先通过梯度下降优化权重，然后基于节能准则和快速梯度近似进行神经元分割。
• 采用增长比例α控制每轮分割的神经元数量，平衡探索与效率。

实验结果

研究问题

• RQ1 能否有效将能耗成本整合到分割过程中，以引导发现更节能的神经架构？
• RQ2 能否用一种可扩展、可微分的近似方法替代分割最速下降法中计算昂贵的特征分解步骤，以实现GPU兼容性？
• RQ3 所提方法是否在ImageNet等大规模基准测试中，优于现有的剪枝基线方法和人工设计模型，实现更优的准确率-FLOPs权衡？
• RQ4 该方法对超参数选择（如增长比例α和训练与分割过程中的随机初始化）的鲁棒性如何？
• RQ5 该方法能否扩展至大规模模型（如ImageNet中使用的模型），克服先前方法在内存和计算上的瓶颈？

主要发现

• 在ImageNet上，所提方法相较于MobileNetV1提升了1.0%的top-1准确率，相较于MobileNetV2提升了0.8%的top-1准确率，同时降低了FLOPs。
• 在CIFAR-100上，该方法优于剪枝基线方法，展现出更优的准确率-FLOPs权衡，证明了其卓越的效率。
• 该方法将分割步骤的计算成本降低至标准反向传播水平，实现了高效的GPU实现。
• 当增长比例α在[0.3, 0.5]范围内时，模型性能最佳；而α = 0.2时性能欠佳，原因在于对高成本层的探索不足。
• 该方法对随机初始化和数据打乱具有鲁棒性，在不同随机种子下多次运行均表现出一致的性能。
• 消融实验证实，节能型分割能生成更高效的架构，尤其在低FLOPs场景下优势显著。