[论文解读] MixPath: A Unified Approach for One-shot Neural Architecture Search

Xiangxiang Chu, Lu, Shun+2 more|arXiv (Cornell University)|Jan 16, 2020

Advanced Neural Network Applications参考文献 47被引用 15

一句话总结

MixPath 提出了一种统一的单次神经架构搜索框架，用于多路径卷积神经网络架构，通过一种新颖的阴影批归一化（SBN）机制来稳定超网络训练并提升模型排序性能。通过建模路径特定的批量统计信息，并将 SBN 数量减少至 m（允许的路径数量），该方法在仅使用 10 个 GPU 天的计算资源下实现了 ImageNet 上的最先进准确率，优于使用 200 倍以上计算资源搜索得到的模型。

ABSTRACT

Blending multiple convolutional kernels is proved advantageous in neural architecture design. However, current two-stage neural architecture search methods are mainly limited to single-path search spaces. How to efficiently search models of multi-path structures remains a difficult problem. In this paper, we are motivated to train a one-shot multi-path supernet to accurately evaluate the candidate architectures. Specifically, we discover that in the studied search spaces, feature vectors summed from multiple paths are nearly multiples of those from a single path. Such disparity perturbs the supernet training and its ranking ability. Therefore, we propose a novel mechanism called Shadow Batch Normalization (SBN) to regularize the disparate feature statistics. Extensive experiments prove that SBNs are capable of stabilizing the optimization and improving ranking performance. We call our unified multi-path one-shot approach as MixPath, which generates a series of models that achieve state-of-the-art results on ImageNet.

研究动机与目标

• 解决单次多路径超网络架构训练中的不稳定性和性能排序差的问题。
• 实现在多样化多路径搜索空间中的有效且高效的神经架构搜索。
• 开发一种轻量化但高效的正则化机制，可适应超网络训练过程中动态的路径组合。
• 在单一框架下统一单路径与多路径 NAS，使单路径方法成为其特例。

提出的方法

• 引入阴影批归一化（SBN），为每个激活路径数量分别应用独立的 BN 统计量（例如，SBN₁ 用于 1 条路径，SBN₂ 用于 2 条路径），而非使用单一共享的 BN。
• 将多路径的特征向量建模为单路径特征的近似倍数，从而仅需 m 个组件即可实现高效的 SBN 参数化，而非指数级的组合。
• 利用 SBN 捕捉不同路径组合下的多样化特征统计信息，减少采样过程中的分布偏移，从而稳定训练。
• 在 BN 后应用校准操作，使超网络预测与独立模型性能对齐，提升排序保真度。
• 将 SBN 集成到带有权重共享的单次超网络训练流程中，实现子网络的快速评估。
• 采用 NSGA-II 算法在 FLOPs 和准确率约束下进行帕累托最优架构搜索。

实验结果

研究问题

• RQ1 为何原始的多路径超网络训练无法为子网络生成稳定且准确的排序？
• RQ2 如何使单个超网络能够有效且稳定地表征具有不同路径组合的多样化多路径架构的性能？
• RQ3 是否可以利用路径组合之间的特征相似性，将所需 SBN 数量从指数级减少到与允许路径数线性相关？
• RQ4 在多路径 NAS 背景下，SBN 与现有批归一化变体（如可切换 BN）相比表现如何？
• RQ5 SBN 在单次 NAS 中对排序性能和泛化能力的提升程度有多大？

主要发现

• 在 NAS-Bench-101 的一个子集上，MixPath 达到了 0.597 的 Kendall tau 值，相较于以往的单次方法展现出更优的排序性能。
• 启用 SBN 后，MixPath 在 5 亿 FLOPS 限制下于 ImageNet 上实现了 97.44% 的 top-1 准确率，优于未启用 SBN 时的 97.12%。
• 该方法仅用 10 个 GPU 天即达到 SOTA 的 ImageNet 性能，与使用 200 倍以上计算资源搜索得到的 MixNet 模型相当。
• SBN 将所需批归一化层数量从指数级减少至 m（允许的路径数量），实现了实际部署的可行性。
• 后 BN 校准有效弥合了超网络与独立模型性能之间的差距，显著提升了排序可靠性。
• 在 S₃ 搜索空间中，NSGA-II 相较于随机搜索，能在帕累托前沿上找到准确率更高且 FLOPs 更低的模型。