[论文解读] Hardware Aware Neural Network Architectures using FbNet

Sai Vineeth Kalluru Srinivas, Harideep Nair+1 more|arXiv (Cornell University)|Jun 17, 2019

Advanced Neural Network Applications参考文献 6被引用 4

一句话总结

该论文提出HANNA（Hardware Aware Neural Network Architecture），一种可微分神经架构搜索（NAS）方法，可联合优化目标设备（如Raspberry Pi）上的准确率、延迟和能耗。通过在FBNet的损失函数中引入能耗项，HANNA发现了一系列紧凑高效的模型，相比MobileNetv2实现2.5倍的加速和3.8倍的能耗降低，准确率仅下降4–5%。

ABSTRACT

We implement a differentiable Neural Architecture Search (NAS) method inspired by FBNet for discovering neural networks that are heavily optimized for a particular target device. The FBNet NAS method discovers a neural network from a given search space by optimizing over a loss function which accounts for accuracy and target device latency. We extend this loss function by adding an energy term. This will potentially enhance the ``hardware awareness" and help us find a neural network architecture that is optimal in terms of accuracy, latency and energy consumption, given a target device (Raspberry Pi in our case). We name our trained child architecture obtained at the end of search process as Hardware Aware Neural Network Architecture (HANNA). We prove the efficacy of our approach by benchmarking HANNA against two other state-of-the-art neural networks designed for mobile/embedded applications, namely MobileNetv2 and CondenseNet for CIFAR-10 dataset. Our results show that HANNA provides a speedup of about 2.5x and 1.7x, and reduces energy consumption by 3.8x and 2x compared to MobileNetv2 and CondenseNet respectively. HANNA is able to provide such significant speedup and energy efficiency benefits over the state-of-the-art baselines at the cost of a tolerable 4-5% drop in accuracy.

研究动机与目标

• 开发一种神经架构搜索方法，以在边缘设备上同时优化性能与硬件约束。
• 解决现有最先进模型在移动和嵌入式平台中为追求高准确率而造成高延迟和高能耗的问题。
• 通过在搜索损失函数中引入能耗作为首要目标，扩展现有NAS框架。
• 实现在无需模型压缩或硬件调优专业知识的情况下，自动化、高效且设备特定的模型生成。
• 证明对准确率、延迟和能耗进行联合优化，可在低功耗设备（如Raspberry Pi）上实现更优的实际性能。

提出的方法

• 该方法通过在FBNet的可微分NAS框架中引入能耗项，扩展其损失函数，实现对准确率、延迟和能耗的联合优化。
• 损失函数被表述为准确率、延迟和能耗项的加权和，其中可学习的超参数α、β、γ和δ控制各项目标之间的权衡。
• 控制器架构从搜索空间中采样子网络，使用代理数据集进行训练，并在目标设备（Raspberry Pi）上评估其延迟和能耗指标。
• 搜索过程基于架构空间的连续松弛进行梯度优化，支持端到端训练和高效的架构发现。
• 最终的HANNA模型通过从学习到的参数（theta）中采样最可能的架构生成，随后在目标设备上进行微调和部署。
• 实现了一个Web界面，允许用户输入超参数和设备查表，通过后端NAS训练实现自动化HANNA模型生成。

实验结果

研究问题

• RQ1 在神经架构搜索中对准确率、延迟和能耗进行联合优化，是否能在低功耗边缘设备上实现更优性能？
• RQ2 不同的权衡权重（α、β、γ、δ）如何影响最终模型的延迟和能耗？
• RQ3 在NAS损失函数中加入能耗项是否能显著提升能效，同时不牺牲准确率？
• RQ4 可微分NAS方法是否能有效发现紧凑且硬件感知的模型，使其性能优于当前最先进的移动端优化网络（如MobileNetv2和CondenseNet）？
• RQ5 搜索过程在多大程度上可实现自动化并抽象为用户友好的界面，以支持非专家在目标硬件上的部署？

主要发现

• 在Raspberry Pi上部署时，HANNA相比MobileNetv2在CIFAR-10数据集上实现2.5倍加速，相比CondenseNet实现1.7倍加速。
• HANNA相比MobileNetv2将能耗降低3.8倍，相比CondenseNet降低2倍，展现出显著的能效优势。
• 尽管在速度和能耗方面有显著改进，HANNA相比MobileNetv2和CondenseNet仅出现4–5%的准确率下降，该损失在边缘部署中可被接受。
• 延迟主导性度量显示，增加β（指数因子）比增加α（乘法因子）更有效地降低延迟。
• 能效主导性度量证实，增加δ（能耗项的权重）可明显降低能耗，其中模型12的能耗最低，仅为3 J。
• 基于Web的HANNA模型生成器使非专家用户可通过指定超参数和设备查表，自动生成优化模型，展示了其实际可部署性。