[论文解读] FBNetV2: Differentiable Neural Architecture Search for Spatial and Channel Dimensions

Alvin Wan, Xiaoliang Dai+10 more|arXiv (Cornell University)|Apr 12, 2020

Advanced Neural Network Applications参考文献 38被引用 29

一句话总结

FBNetV2 提出 DMaskingNAS，一种可微神经架构搜索（DNAS）方法，通过使用掩码机制实现特征图复用，从而在保持近乎恒定的内存和计算成本下，实现对空间（输入分辨率）和通道维度（滤波器数量）的高效联合搜索。该方法将搜索空间扩大至最多 10^14 倍，同时实现 SOTA 准确率，相比 MobileNetV3-Small 减少 15% FLOPs，相比 Efficient-B0 减少 20% FLOPs，且在相似准确率下表现更优。

ABSTRACT

Differentiable Neural Architecture Search (DNAS) has demonstrated great success in designing state-of-the-art, efficient neural networks. However, DARTS-based DNAS's search space is small when compared to other search methods', since all candidate network layers must be explicitly instantiated in memory. To address this bottleneck, we propose a memory and computationally efficient DNAS variant: DMaskingNAS. This algorithm expands the search space by up to $10^{14} imes$ over conventional DNAS, supporting searches over spatial and channel dimensions that are otherwise prohibitively expensive: input resolution and number of filters. We propose a masking mechanism for feature map reuse, so that memory and computational costs stay nearly constant as the search space expands. Furthermore, we employ effective shape propagation to maximize per-FLOP or per-parameter accuracy. The searched FBNetV2s yield state-of-the-art performance when compared with all previous architectures. With up to 421$ imes$ less search cost, DMaskingNAS finds models with 0.9% higher accuracy, 15% fewer FLOPs than MobileNetV3-Small; and with similar accuracy but 20% fewer FLOPs than Efficient-B0. Furthermore, our FBNetV2 outperforms MobileNetV3 by 2.6% in accuracy, with equivalent model size. FBNetV2 models are open-sourced at https://github.com/facebookresearch/mobile-vision.

研究动机与目标

• 为克服 DNAS 中限制搜索空间大小的内存和计算瓶颈，尤其是针对空间和通道维度。
• 在可微框架中实现输入分辨率和滤波器数量的联合搜索，且不产生高昂的内存或计算成本。
• 在 ImageNet 上实现高效神经网络在准确率、FLOPs 和模型大小方面的 SOTA 性能。
• 开发一种可扩展、内存高效的 DNAS 方法，支持大规模架构搜索，同时保持训练效率。

提出的方法

• 提出 DMaskingNAS，一种 DNAS 变体，通过可学习掩码在共享超图中表示多个通道和分辨率选项，实现联合优化。
• 采用掩码机制，通过加权掩码组合在所有通道和分辨率选项间复用特征图，最大限度降低内存和计算开销。
• 应用有效的形状传播，确保在搜索过程中梯度流动和性能估计的准确性，最大化每 FLOP 和每参数的准确率。
• 使用带有 Gumbel-Softmax 的权重共享近似方法，在训练期间可微地选择最优通道和分辨率配置。
• 支持六个架构维度的联合搜索：通道数、卷积核大小、层数、瓶颈类型、输入分辨率和扩展率。
• 采用超图公式化方法，隐式表示所有候选架构，支持在大幅扩展的搜索空间中进行端到端可微优化。

实验结果

研究问题

• RQ1 DNAS 能否被扩展以在不产生高昂内存或计算成本的前提下，高效搜索空间（输入分辨率）和通道（滤波器数量）维度？
• RQ2 如何在大量通道和分辨率选项之间实现特征图复用，以在搜索过程中保持近乎恒定的内存使用量？
• RQ3 可微搜索框架能否在实现 SOTA 性能的同时，联合优化宏观架构（分辨率、通道数）和微观架构（模块）？
• RQ4 与先前方法相比，将搜索空间扩大至最多 10^14 倍，对最终模型准确率和效率有何影响？
• RQ5 所提方法能否在准确率上优于现有手动设计和自动设计的模型，同时使用更少的 FLOPs 或参数？

主要发现

• FBNetV2-F1 在 ImageNet 上实现 68.3% 的 top-1 准确率，仅需 56M FLOPs，相比 MobileNetV3-Small 准确率提升 0.9%，且 FLOPs 减少 15%。
• FBNetV2-F4 在 238M FLOPs 下实现 76.0% 的 top-1 准确率，与 ResNet-50 准确率相当，但效率显著更高。
• FBNetV2-P1 在仅 4M 参数下，准确率比 MobileNetV3 高 2.6%，比 FBNet 高 2.9%，展现出卓越的参数效率。
• FBNetV2 的搜索成本仅为 8 张 GPU 上 27 小时，相比 MobileNetV3-Small 的搜索成本低 421 倍，尽管准确率更高。
• DMaskingNAS 在每个模块支持 32 种通道选项时，仍保持近乎恒定的内存成本，而传统 DNAS 在超过 8 种选项时即无法装入内存。
• FBNetV2-L1 在 325M FLOPs 下实现 77.2% 的 top-1 准确率，优于 EfficientNet-B0（77.3% 准确率，390M FLOPs），展现出更优的 FLOP 效率。