[论文解读] Discovering Multi-Hardware Mobile Models via Architecture Search

Grace Chu, Okan Arıkan+8 more|arXiv (Cornell University)|Aug 18, 2020

Advanced Neural Network Applications参考文献 27被引用 4

一句话总结

本文提出一种多硬件神经架构搜索方法，旨在开发单一模型以优化多种加速器（CPU、GPU、DSP、EdgeTPU），从而降低部署和工程维护成本。通过引入多硬件指标与兼容的搜索空间，该方法在一次搜索中即发现可在所有硬件上实现最先进精度-延迟权衡的模型，平均和最坏情况延迟均优于单硬件模型，同时将搜索成本降低五倍。

ABSTRACT

Hardware-aware neural architecture designs have been predominantly focusing on optimizing model performance on single hardware and model development complexity, where another important factor, model deployment complexity, has been largely ignored. In this paper, we argue that, for applications that may be deployed on multiple hardware, having different single-hardware models across the deployed hardware makes it hard to guarantee consistent outputs across hardware and duplicates engineering work for debugging and fixing. To minimize such deployment cost, we propose an alternative solution, multi-hardware models, where a single architecture is developed for multiple hardware. With thoughtful search space design and incorporating the proposed multi-hardware metrics in neural architecture search, we discover multi-hardware models that give state-of-the-art (SoTA) performance across multiple hardware in both average and worse case scenarios. For performance on individual hardware, the single multi-hardware model yields similar or better results than SoTA performance on accelerators like GPU, DSP and EdgeTPU which was achieved by different models, while having similar performance with MobilenetV3 Large Minimalistic model on mobile CPU.

研究动机与目标

• 为解决在多个加速器上维护独立单硬件模型所带来的高部署与工程成本问题。
• 降低面向多样化硬件平台的应用中模型部署的复杂性。
• 开发一种统一的神经架构搜索框架，实现对多种硬件的同步优化。
• 最小化异构边缘设备上性能与可移植性之间的权衡。

提出的方法

• 设计一个兼容所有目标加速器（CPU float、CPU uint8、GPU、DSP、EdgeTPU）的多硬件搜索空间，以支持共享架构搜索。
• 引入归一化平均延迟与最坏情况延迟指标，用于评估模型在多种硬件平台上的效率表现。
• 修改现有NAS奖励函数，同时纳入准确率与多硬件延迟性能。
• 采用共享搜索空间与联合优化策略，发现一种在所有目标硬件上均表现优异的单一模型。
• 应用一种与任何NAS算法兼容的互补搜索方法，以支持多样化硬件配置的扩展。
• 在搜索过程中利用硬件感知的延迟测量，确保模型在每种目标设备上的实际运行效率。

实验结果

研究问题

• RQ1 能否通过单一神经架构在不牺牲效率的前提下，实现对多种异构移动端加速器的竞争力表现？
• RQ2 与单硬件NAS相比，多硬件NAS在准确率、延迟与搜索成本方面表现如何？
• RQ3 与单硬件模型相比，多硬件模型在设计选择上有哪些显著差异？
• RQ4 多硬件指标（平均延迟与最坏情况延迟）与多样化硬件上的实际性能之间是否存在相关性？
• RQ5 多硬件模型是否能泛化到未包含在搜索范围内的非目标硬件？

主要发现

• 多硬件模型（Multi-AVG）在五种硬件平台（CPU float、CPU uint8、GPU、DSP、EdgeTPU）上均实现了最先进精度-延迟权衡，涵盖平均延迟与最坏情况延迟。
• Multi-AVG在ImageNet上实现75.8%的top-1准确率，归一化平均延迟为1.06，最坏情况延迟为1.25，优于所有单硬件模型在平均与最坏情况指标上的表现。
• 与运行五次独立单硬件搜索相比，多硬件搜索过程将总搜索成本降低了五倍。
• 所发现的多硬件模型在未参与搜索的硬件上也表现出良好的泛化能力，展现出在未见加速器上的优异性能。
• 多硬件模型倾向于采用更重的深层结构，并避免使用仅在特定硬件上受益的操作（如SE和h-swish），表明其更注重跨平台效率。
• Multi-AVG模型在GPU、DSP和EdgeTPU上的性能与任务特定的单硬件模型相当或更优，同时在移动CPU上的性能与MobileNetV3 Large Minimalistic模型相当。