[论文解读] MnasFPN: Learning Latency-aware Pyramid Architecture for Object Detection on Mobile Devices

Bo Chen, Golnaz Ghiasi+5 more|arXiv (Cornell University)|Dec 2, 2019

Advanced Neural Network Applications参考文献 38被引用 9

一句话总结

本文提出 MnasFPN，一种面向移动设备目标检测头的移动端优化神经架构搜索空间，结合倒残差块与延迟感知搜索。在 Pixel 设备上，通过基于设备端延迟的强化学习控制器训练，MnasFPN 在 mAP 上比 SSDLite 高出 1.8，推理速度比 NAS-FPNLite 快 10%，同时非主干网络延迟降低 25%，且参数量保持较低水平。

ABSTRACT

Despite the blooming success of architecture search for vision tasks in resource-constrained environments, the design of on-device object detection architectures have mostly been manual. The few automated search efforts are either centered around non-mobile-friendly search spaces or not guided by on-device latency. We propose MnasFPN, a mobile-friendly search space for the detection head, and combine it with latency-aware architecture search to produce efficient object detection models. The learned MnasFPN head, when paired with MobileNetV2 body, outperforms MobileNetV3+SSDLite by 1.8 mAP at similar latency on Pixel. It is also both 1.0 mAP more accurate and 10% faster than NAS-FPNLite. Ablation studies show that the majority of the performance gain comes from innovations in the search space. Further explorations reveal an interesting coupling between the search space design and the search algorithm, and that the complexity of MnasFPN search space may be at a local optimum.

研究动机与目标

• 解决移动端目标检测头缺乏自动化、延迟引导的架构搜索问题。
• 设计一种面向移动端的搜索空间，支持深度可分离卷积和倒残差等高效操作。
• 通过联合优化检测头与设备端延迟，改善移动端目标检测中的精度与速度权衡。
• 证明在移动端目标检测的 NAS 中，搜索空间设计与搜索算法选择同等关键。
• 通过端到端延迟感知的架构搜索，实现在边缘设备上高效且高性能的目标检测。

提出的方法

• 提出 MnasFPN，一种用于检测头的搜索空间，整合了倒残差块与面向移动端 CPU 优化的结构化特征融合操作。
• 提出一种基于强化学习的延迟感知架构搜索框架，控制器基于真实的设备端延迟测量进行训练。
• 引入结构化下采样操作（SDO），通过结合深度可分离卷积与逐点 1x1 卷积，降低特征融合过程中的计算成本。
• 采用基于控制器的强化学习方法在 MnasFPN 搜索空间中进行搜索，奖励函数综合考虑 mAP 与延迟的权衡。
• 应用宽度乘数与深度乘数策略控制模型大小与延迟，实现与 SSDLite 和 NAS-FPNLite 的公平比较。
• 开展消融实验，评估 SDO、搜索空间设计与控制器行为对性能与效率的影响。

实验结果

研究问题

• RQ1 面向移动端的目标检测头，是否可通过设计移动端优化的搜索空间，显著提升精度与延迟表现，超越现有手工设计或非延迟引导的方法？
• RQ2 倒残差块与结构化下采样操作的整合，对移动端目标检测性能有何影响？
• RQ3 在移动端检测头设计中，延迟感知搜索相比仅优化精度的搜索，优势有多大？
• RQ4 性能提升主要源于搜索空间设计，还是搜索算法本身？
• RQ5 基于控制器的 NAS 框架能否有效探索复杂、非顺序的检测头架构，并实现有意义的效率提升？

主要发现

• 使用 MobileNetV2 主干网络时，MnasFPN 在 COCO test-dev 上达到 26.1 mAP，延迟 183ms，相比 NAS-FPNLite 提升 1.0 mAP 且端到端延迟快 10%。
• 使用 MobileNetV3 主干网络时，MnasFPN 在 168ms 延迟下达到 25.5 mAP，比使用 MobileNetV2 的 SSDLite 高出 3.4 mAP，比使用 MnasNet-A1 的 SSDLite 高出 2.5 mAP。
• 在约 120ms 延迟下，MnasFPN 搭配 MobileNetV2 与 0.7 宽度乘数时，mAP 比使用 MobileNetV3 的 SSDLite 高出 1.8，即使 SSDLite 使用了通道减半技巧。
• 消融实验表明，SDO 可将延迟降低 8–11ms（4–6%），且不影响 mAP，说明检测头约 12–14% 的延迟可通过 SDO 优化。
• 搜索空间设计至关重要：禁用 SDO 或移除关键架构组件会导致显著延迟增加，而 mAP 无明显下降，证明 MnasFPN 设计的有效性。
• MnasFPN 的非主干网络延迟比 NAS-FPNLite 低 25%，表明检测头现已成为性能瓶颈，提示未来可开展主干与检测头联合搜索。