[论文解读] BETANAS: BalancEd TrAining and selective drop for Neural Architecture Search

Muyuan Fang, Qiang Wang+1 more|arXiv (Cornell University)|Dec 24, 2019

Advanced Neural Network Applications参考文献 29被引用 12

一句话总结

BETANAS 提出了一种新颖的神经架构搜索方法，通过结合平衡训练与选择性路径丢弃，确保在权重共享超网络训练中实现公平的性能评估并减少梯度冲突。通过更一致地训练高性能路径并逐步消除低性能路径，BETANAS 在移动设置下于 ImageNet 上实现了 79.0% 的 top-1 准确率，优于先前的最先进方法，在准确率与效率方面均表现更优。

ABSTRACT

Automatic neural architecture search techniques are becoming increasingly important in machine learning area. Especially, weight sharing methods have shown remarkable potentials on searching good network architectures with few computational resources. However, existing weight sharing methods mainly suffer limitations on searching strategies: these methods either uniformly train all network paths to convergence which introduces conflicts between branches and wastes a large amount of computation on unpromising candidates, or selectively train branches with different frequency which leads to unfair evaluation and comparison among paths. To address these issues, we propose a novel neural architecture search method with balanced training strategy to ensure fair comparisons and a selective drop mechanism to reduce conflicts among candidate paths. The experimental results show that our proposed method can achieve a leading performance of 79.0% on ImageNet under mobile settings, which outperforms other state-of-the-art methods in both accuracy and efficiency.

研究动机与目标

• 为解决权重共享 NAS 中子网络路径训练频率不平衡的问题，该问题会导致性能评估偏差。
• 通过在训练过程中选择性地丢弃低性能路径，减少超网络中候选路径之间的梯度冲突。
• 通过确保公平比较同时保持训练效率，平衡交替训练与一次性 NAS 方法的优势。
• 通过基于性能动态剪枝无前景路径，提升搜索效率与最终架构的准确率。

提出的方法

• 提出一种平衡训练策略，确保超网络中所有剩余路径以相近频率进行训练，从而实现公平的性能比较。
• 采用选择性丢弃机制，逐步移除性能显著低于平均值的路径，以减少梯度干扰。
• 使用两阶段优化策略：为训练（优化）和架构搜索（评估）分别设计独立策略，从而将路径选择与训练动态解耦。
• 应用基于性能的剪枝准则，仅丢弃相对于群体平均值持续表现不佳的路径，以保留潜在有价值的架构。
• 维持一个所有候选路径共享权重的超网络，但通过选择性地训练与评估子网络，降低计算开销。
• 采用基于梯度的架构搜索，并结合可微路径采样策略，以提升训练效率与内存使用效率。

实验结果

研究问题

• RQ1 在权重共享超网络中进行神经架构搜索时，如何确保子网络的公平且无偏的性能评估？
• RQ2 有哪些策略可在不牺牲搜索效率的前提下，减少超网络中竞争路径之间的梯度冲突？
• RQ3 结合平衡训练与选择性路径丢弃的混合方法，是否能在准确率与效率方面超越现有的单次训练与交替训练 NAS 方法？
• RQ4 基于相对性能的路径剪枝在多大程度上能提升最终架构的质量与训练稳定性？

主要发现

• BETANAS 在移动设置下于 ImageNet 上实现了 79.0% 的新最先进 top-1 准确率，优于现有方法在准确率与效率方面的表现。
• 与所有路径完全收敛训练相比，该方法在搜索过程中显著降低了计算成本，同时保持了更优的性能。
• 实验表明，分支数较少的网络（B2）收敛更好，且其性能排名与独立训练网络（NS）更接近，而分支数较多的网络（B4）则表现较差，验证了减少路径干扰的优势。
• 消融研究证实，选择性丢弃机制能有效减少路径间的相互干扰，表现为收敛性与性能稳定性的提升。
• 平衡训练策略使候选路径之间的性能排名更加公平，缓解了交替训练方法中观察到的马太效应。
• 可视化分析表明，与竞争方法相比，所提方法能选择出更准确且高效的架构，尤其在资源受限环境下表现更优。