[论文解读] DPP-Net: Device-aware Progressive Search for Pareto-optimal Neural Architectures

Jin‐Dong Dong, An-Chieh Cheng+3 more|arXiv (Cornell University)|Jun 21, 2018

Advanced Neural Network Applications参考文献 23被引用 18

一句话总结

DPP-Net 是一种设备感知的渐进式搜索框架，联合优化面向设备无关（准确率、模型大小）和设备相关（推理时间、内存使用）目标的神经架构，实现了在多种硬件上的帕累托最优模型。其在 Titan X、Jetson TX1 和移动设备上的推理速度更快、准确率更高，优于当前最先进的模型如 CondenseNet 和 NASNet (Mobile)。

ABSTRACT

Recent breakthroughs in Neural Architectural Search (NAS) have achieved state-of-the-art performances in applications such as image classification and language modeling. However, these techniques typically ignore device-related objectives such as inference time, memory usage, and power consumption. Optimizing neural architecture for device-related objectives is immensely crucial for deploying deep networks on portable devices with limited computing resources. We propose DPP-Net: Device-aware Progressive Search for Pareto-optimal Neural Architectures, optimizing for both device-related (e.g., inference time and memory usage) and device-agnostic (e.g., accuracy and model size) objectives. DPP-Net employs a compact search space inspired by current state-of-the-art mobile CNNs, and further improves search efficiency by adopting progressive search (Liu et al. 2017). Experimental results on CIFAR-10 are poised to demonstrate the effectiveness of Pareto-optimal networks found by DPP-Net, for three different devices: (1) a workstation with Titan X GPU, (2) NVIDIA Jetson TX1 embedded system, and (3) mobile phone with ARM Cortex-A53. Compared to CondenseNet and NASNet (Mobile), DPP-Net achieves better performances: higher accuracy and shorter inference time on various devices. Additional experimental results show that models found by DPP-Net also achieve considerably-good performance on ImageNet as well.

研究动机与目标

• 解决神经架构搜索（NAS）中通常忽略设备特定约束（如推理时间、内存和功耗）的问题。
• 开发一种高效的搜索方法，联合优化多个目标，包括设备无关（准确率、模型大小）和设备相关（推理时间、内存使用）指标。
• 通过寻找在性能与效率之间取得平衡的架构，实现深度神经网络在资源受限设备上的实际部署。
• 证明在某一设备上搜索的模型可能无法在其他设备上良好泛化，这是由于硬件特定优化所致，因此需要设备感知的搜索。

提出的方法

• DPP-Net 采用受当前最先进移动 CNN 启发的紧凑搜索空间，降低搜索复杂度。
• 采用渐进式搜索（Liu et al., 2017）通过在较小阶段上逐步训练和评估模型，加速架构搜索。
• 在准确率、推理时间、内存使用和模型大小上进行多目标优化，以识别帕累托最优架构。
• 在实际设备（Titan X、Jetson TX1、ARM Cortex-A53 手机）上进行搜索，以确保硬件感知的性能预测。
• 使用组 Lasso 正则化训练模型，以在学习的组卷积中引入稀疏性，提升效率。
• 使用 ONNX 和 Caffe2 在目标设备上直接测量推理时间和内存使用，以实现真实环境下的评估。

实验结果

研究问题

• RQ1 一种神经架构搜索方法能否有效优化准确率以及推理时间、内存使用等设备特定约束？
• RQ2 在某一设备上搜索的模型性能在具有不同软硬件栈的其他设备上是否具有良好的泛化能力？
• RQ3 渐进式搜索策略是否能显著提升搜索效率，同时在多目标 NAS 中保持帕累托最优性？
• RQ4 与当前最先进的手工设计移动 CNN 相比，设备感知的搜索方法是否能获得更优的准确率与效率权衡？

主要发现

• 在 CIFAR-10 上，DPP-Net 在 Titan X、Jetson TX1 和搭载 ARM Cortex-A53 的移动设备上均实现了比 CondenseNet 和 NASNet (Mobile) 更高的准确率和更短的推理时间。
• 即使对于相似的模型，推理时间在不同设备间也存在显著差异，表明设备特定特性对性能有关键影响，因此必须采用设备感知的搜索。
• DPP-Net-Panacea 在 ImageNet 上实现了 25.98% 的 top-1 准确率和 8.21% 的 top-5 准确率，优于 CondenseNet-74 和 NASNet (Mobile) 的所有指标。
• 在移动设备上由 DPP-Net 搜索到的模型（DPP-Net-Panacea）实现了 0.676 秒的推理时间，内存使用为 238MB，其速度和内存效率均优于 NASNet (Mobile)。
• 搜索过程高效且可扩展，可在真实设备上直接评估，无需依赖代理指标或仿真。
• 结果证实，在某一设备上优化的模型未必能在其他设备上表现良好，验证了设备感知搜索的必要性。