[论文解读] Constrained deep neural network architecture search for IoT devices accounting hardware calibration

Florian Scheidegger, Luca Benini+2 more|arXiv (Cornell University)|Sep 24, 2019

Advanced Neural Network Applications参考文献 40被引用 7

一句话总结

本文提出了一种窄空间神经架构搜索框架，可在严格的内存和推理时间约束下，为物联网设备生成高效、低延迟的深度学习模型。通过利用大模型的知识蒸馏技术，并探索低精度格式（半精度和自定义8位类型），该方法在35美元的Raspberry Pi 3上实现了10ms以内的推理延迟，CIFAR-10数据集上的top-1准确率达到83.45%，在内存受限条件下相比现有模型性能提升超过7个百分点。

ABSTRACT

Deep neural networks achieve outstanding results in challenging image classification tasks. However, the design of network topologies is a complex task and the research community makes a constant effort in discovering top-accuracy topologies, either manually or employing expensive architecture searches. In this work, we propose a unique narrow-space architecture search that focuses on delivering low-cost and fast executing networks that respect strict memory and time requirements typical of Internet-of-Things (IoT) near-sensor computing platforms. Our approach provides solutions with classification latencies below 10ms running on a $35 device with 1GB RAM and 5.6GFLOPS peak performance. The narrow-space search of floating-point models improves the accuracy on CIFAR10 of an established IoT model from 70.64% to 74.87% respecting the same memory constraints. We further improve the accuracy to 82.07% by including 16-bit half types and we obtain the best accuracy of 83.45% by extending the search with model optimized IEEE 754 reduced types. To the best of our knowledge, we are the first that empirically demonstrate on over 3000 trained models that running with reduced precision pushes the Pareto optimal front by a wide margin. Under a given memory constraint, accuracy is improved by over 7% points for half and over 1% points further for running with the best model individual format.

研究动机与目标

• 设计满足物联网边缘设备典型内存和延迟约束的深度神经网络。
• 在不增加模型大小或计算成本的前提下，提升低资源物联网平台的模型准确率。
• 系统性评估低精度算术（半精度、8位类型）对模型准确率和效率的影响。
• 开发一种模块化、可扩展的神经架构搜索流程，可适配新硬件和网络结构。
• 通过实证研究证明，低精度可将模型准确率与效率权衡的Pareto最优前沿显著推进。

提出的方法

• 通过在基于大参考模型的原始搜索空间上施加受限采样规则，执行窄空间架构搜索，生成一系列小型、高效的架构。
• 利用知识蒸馏技术，将大参考模型的知识迁移至小型候选架构中，实现在无需完整微调的情况下获得高准确率。
• 通过限制搜索空间，确保所有生成的模型均符合用户定义的内存预算并满足延迟要求。
• 系统性地评估超过3,000个模型中的低精度格式（FP16、自定义8位类型），以确定每层的最佳精度。
• 采用自动搜索算法对搜索空间进行均匀探索，同时使用人工采样规则进行对比与验证。
• 最终模型在CIFAR-10上进行训练与评估，推理延迟在Raspberry Pi 3(B+)上测量，以验证实际性能。

实验结果

研究问题

• RQ1 窄空间架构搜索能否生成在满足物联网设备严格内存和延迟约束下仍具备高准确率的模型？
• RQ2 使用低精度算术（FP16、8位类型）如何影响小型神经网络在准确率与效率之间的权衡？
• RQ3 从大参考模型进行知识蒸馏，能在多大程度上在不进行完整微调的情况下提升小型受限模型的准确率？
• RQ4 与全精度推理相比，使用低精度推理是否会显著改变模型准确率与大小的Pareto最优前沿？
• RQ5 所提出的搜索框架是否能在多个数据集和硬件约束下有效扩展，同时保持高效率与高准确率？

主要发现

• 通过窄空间架构搜索，该方法在相同内存约束下，将CIFAR-10的top-1准确率从基线物联网模型的70.64%提升至74.87%。
• 在相同内存约束下，使用16位半精度（FP16）可将准确率提升至82.07%，显著优于全精度模型。
• 通过允许每个模型使用其独立优化的低精度格式（如8位类型），准确率进一步达到83.45%，为该模型规模与约束条件下的最高报告准确率。
• 使用半精度时，Pareto最优前沿向前推进超过7个百分点；若采用模型特定的低精度类型，再额外提升1%。
• 在Raspberry Pi 3(B+)上，推理延迟始终低于10ms，该设备售价35美元，配备1GB内存和5.6 GFLOPS峰值性能，证实了实时可行性。
• 该方法在13个数据集和三种延迟约束（10³、10⁴、10⁵）下均表现出有效扩展性，最佳模型在每种约束下均实现了高准确率。