[论文解读] MoGA: Searching Beyond MobileNetV3

Xiangxiang Chu, Bo Zhang+1 more|arXiv (Cornell University)|Aug 4, 2019

Advanced Neural Network Applications参考文献 23被引用 4

一句话总结

MoGA 提出首个面向移动 GPU 推理的神经架构搜索（NAS）框架，专门优化神经网络在移动 GPU 上的性能，采用加权适应度策略，优先考虑准确率和延迟，而非参数量。仅用 12 个 GPU 天训练完成——比 MnasNet 少 200 倍——生成了如 MoGA-A（ImageNet 顶部-1 准确率为 75.9%）和 MoGA-C 等模型，在相似 FLOPs 和参数量下，其在移动 GPU 上的表现优于 MobileNetV3。

ABSTRACT

The evolution of MobileNets has laid a solid foundation for neural network applications on mobile end. With the latest MobileNetV3, neural architecture search again claimed its supremacy in network design. Unfortunately, till today all mobile methods mainly focus on CPU latencies instead of GPU, the latter, however, is much preferred in practice for it has faster speed, lower overhead and less interference. Bearing the target hardware in mind, we propose the first Mobile GPU-Aware (MoGA) neural architecture search in order to be precisely tailored for real-world applications. Further, the ultimate objective to devise a mobile network lies in achieving better performance by maximizing the utilization of bounded resources. Urging higher capability while restraining time consumption is not reconcilable. We alleviate the tension by weighted evolution techniques. Moreover, we encourage increasing the number of parameters for higher representational power. With 200x fewer GPU days than MnasNet, we obtain a series of models that outperform MobileNetV3 under the similar latency constraints, i.e., MoGA-A achieves 75.9% top-1 accuracy on ImageNet, MoGA-B meets 75.5% which costs only 0.5 ms more on mobile GPU. MoGA-C best attests GPU-awareness by reaching 75.3% and being slower on CPU but faster on GPU.The models and test code is made available here https://github.com/xiaomi-automl/MoGA.

研究动机与目标

• 为解决移动神经架构搜索中缺乏对 GPU 推理关注的问题，将研究重点从 CPU 转向更常用于实际部署的 GPU 推理。
• 通过在严格延迟和资源约束下优化准确率和延迟，同时允许更高的参数量以防止欠拟合，从而提升模型性能。
• 通过使用一次性超网络和延迟查表，显著降低 NAS 搜索成本，实现在多个移动平台上的高效适配。
• 开发一种灵活的“一次训练，处处部署”NAS 流程，支持无需重新训练超网络即可快速为新设备重新配置。

提出的方法

• 提出面向移动 GPU 推理的移动 GPU-aware NAS（MoGA），替代以 CPU 为中心的设计，将 GPU 延迟作为主要优化目标。
• 采用加权适应度函数，综合考虑准确率、延迟和参数量，对准确率和延迟赋予更高权重，并为增加参数量提供奖励，以增强模型表征能力。
• 使用单路径训练的一次性超网络训练策略，降低内存和计算开销，实现低额外开销的高效架构搜索。
• 构建高精度的延迟查表，用于搜索过程中的高效延迟估计，避免昂贵的真实设备测量。
• 在加权 NSGA-II 算法中应用分层变异，提升搜索效率与收敛性，优于随机变异基线。
• 将搜索与训练解耦，使同一超网络可跨不同移动平台复用，仅需使用更新后的延迟表进行轻量级重新搜索。

实验结果

研究问题

• RQ1 神经架构搜索能否有效适配于更常用于实际部署的移动 GPU 推理，而非 CPU 推理？
• RQ2 在移动 NAS 中，当欠拟合风险大于过拟合时，如何在准确率、延迟和参数量之间实现最优权衡？
• RQ3 通过复用预训练的超网络和延迟查表，能否将新移动平台的搜索成本降至接近零？
• RQ4 在 GPU 上，增加移动模型的参数量是否能在不增加延迟的前提下提升性能，尤其在 GPU 上？
• RQ5 与以 CPU 为中心的方法相比，GPU-aware 架构搜索在真实推理速度和准确率方面表现如何？

主要发现

• MoGA-A 在与 MobileNetV3 相似的延迟约束下，ImageNet 顶部-1 准确率达到 75.9%，在移动 GPU 上表现优于 MobileNetV3。
• MoGA-B 在移动 GPU 上相比 MoGA-A 仅增加 0.5 ms 延迟，准确率达到 75.5%。
• MoGA-C 在与 MobileNetV3 相同的 FLOPs 和参数量下，准确率达到 75.3%，但在移动 GPU 上更快，CPU 上更慢，验证了其 GPU-aware 设计的有效性。
• 整个 MoGA 搜索流程仅需 12 个 GPU 天——约为 MnasNet 的 1/200——显著降低了搜索成本。
• 一次性超网络与延迟查表支持高效、一次训练处处部署，新设备仅需 o(1) 的额外搜索成本。
• 加权 NSGA-II 算法中的分层变异提升了搜索效率，生成的帕累托前沿优于随机变异基线。