[论文解读] Partial Order Pruning: for Best Speed/Accuracy Trade-off in Neural Architecture Search

Xin Li, Yiming Zhou+2 more|arXiv (Cornell University)|Mar 9, 2019

Advanced Neural Network Applications参考文献 35被引用 9

一句话总结

本文提出部分排序剪枝（Partial Order Pruning），一种神经架构搜索算法，通过基于网络宽度和深度的偏序假设对搜索空间进行剪枝，显式优化速度/精度权衡。该方法在嵌入式设备和高端GPU上均实现了最先进（SOTA）的速度/精度性能，其中DF-Seg网络在1080Ti上实现106.4 FPS、mIoU达74.1%，在TX2上实现21.8 FPS（720p分辨率）。

ABSTRACT

Achieving good speed and accuracy trade-off on a target platform is very important in deploying deep neural networks in real world scenarios. However, most existing automatic architecture search approaches only concentrate on high performance. In this work, we propose an algorithm that can offer better speed/accuracy trade-off of searched networks, which is termed "Partial Order Pruning". It prunes the architecture search space with a partial order assumption to automatically search for the architectures with the best speed and accuracy trade-off. Our algorithm explicitly takes profile information about the inference speed on the target platform into consideration. With the proposed algorithm, we present several Dongfeng (DF) networks that provide high accuracy and fast inference speed on various application GPU platforms. By further searching decoder architectures, our DF-Seg real-time segmentation networks yield state-of-the-art speed/accuracy trade-off on both the target embedded device and the high-end GPU.

研究动机与目标

• 为解决现有神经架构搜索方法过度侧重精度而忽视推理速度，且依赖FLOPs作为效率代理的问题。
• 开发一种搜索算法，显式考虑目标平台上的实际推理延迟，而非FLOPs或间接指标。
• 通过剪除在相同深度/宽度约束下无法超越更窄或更浅模型的架构，实现更优的速度/精度权衡。
• 设计适用于实时语义分割的高效主干网络和解码器架构，在嵌入式和高端GPU上均保持高精度并最小化延迟。

提出的方法

• 部分排序剪枝算法采用偏序假设：若一个更宽的网络与一个更窄的网络具有相同深度，则其不可能更高效，因此可提前剪除更宽的变体。
• 该方法将目标平台的实际推理速度测量结果整合到搜索过程中，以真实延迟分析替代基于FLOPs的估计。
• 采用切平面算法高效探索剩余搜索空间，避免使用强化学习、进化策略或基于梯度的优化方法。
• 搜索过程同时覆盖主干网络和解码器架构，实现语义分割任务的端到端优化。
• 该算法生成一组针对特定硬件平台优化了速度与精度的网络——东风（Dongfeng, DF）网络。
• DF-Seg是通过将DF主干网络与搜索得到的解码器架构结合而生成的变体，实现了高效率与高精度。

实验结果

研究问题

• RQ1 能否通过在目标硬件上显式建模实际推理延迟，使神经架构搜索算法实现更优的速度/精度权衡？
• RQ2 当FLOPs作为真实性能的代理效果较差时，如何在保持高质量解的前提下加速架构搜索？
• RQ3 能否利用宽度与深度上的偏序假设，在搜索过程中早期剪除次优架构？
• RQ4 在嵌入式和高端GPU上，实时语义分割可实现的速度/精度前沿边界是什么？

主要发现

• 在GTX 1080Ti上，DF1-Seg网络在1024×2048分辨率下实现106.4 FPS、mIoU达74.1%，在速度和精度上均优于BiSeNet1和BiSeNet2。
• 在TX2上，DF1-Seg网络在1280×720分辨率下实现21.8 FPS，展现出在嵌入式硬件上的强劲性能。
• DF1网络在ImageNet上的top-1精度与ResNet-18相当，但延迟降低43%（2.5ms vs 4.4ms）。
• DF1-Seg-d8变体通过在1/8分辨率下预测并使用最近邻插值上采样，在1080Ti上实现136.9 FPS，测试集mIoU保持71.4%。
• DF2-Seg2在Cityscapes验证集上实现76.9%的最高mIoU，速度达56.3 FPS，创下实时分割新SOTA。
• 与ICNet相比，DF1-Seg在测试集上实现3.5%更高的mIoU，且推理速度相当。