[论文解读] Generalizing Few-Shot NAS with Gradient Matching

Shoukang Hu, Ruochen Wang+4 more|arXiv (Cornell University)|Mar 29, 2022

Advanced Neural Network Applications被引用 10

一句话总结

该论文提出GM-NAS，一种广义的少样本神经架构搜索（NAS）方法，通过梯度匹配得分（GM）智能地将一个超网络拆分为子超网络，从而减少有害的权重共享。通过基于梯度相似性的边聚类，并在预算约束下实现更高的边划分，GM-NAS在DARTS搜索空间上实现了2.34%的测试误差，在ImageNet上实现了19.7%的Top-1错误率，达到当前最先进水平，同时显著提升了顶级架构之间的排序相关性。

ABSTRACT

Efficient performance estimation of architectures drawn from large search spaces is essential to Neural Architecture Search. One-Shot methods tackle this challenge by training one supernet to approximate the performance of every architecture in the search space via weight-sharing, thereby drastically reducing the search cost. However, due to coupled optimization between child architectures caused by weight-sharing, One-Shot supernet's performance estimation could be inaccurate, leading to degraded search outcomes. To address this issue, Few-Shot NAS reduces the level of weight-sharing by splitting the One-Shot supernet into multiple separated sub-supernets via edge-wise (layer-wise) exhaustive partitioning. Since each partition of the supernet is not equally important, it necessitates the design of a more effective splitting criterion. In this work, we propose a gradient matching score (GM) that leverages gradient information at the shared weight for making informed splitting decisions. Intuitively, gradients from different child models can be used to identify whether they agree on how to update the shared modules, and subsequently to decide if they should share the same weight. Compared with exhaustive partitioning, the proposed criterion significantly reduces the branching factor per edge. This allows us to split more edges (layers) for a given budget, resulting in substantially improved performance as NAS search spaces usually include dozens of edges (layers). Extensive empirical evaluations of the proposed method on a wide range of search spaces (NASBench-201, DARTS, MobileNet Space), datasets (cifar10, cifar100, ImageNet) and search algorithms (DARTS, SNAS, RSPS, ProxylessNAS, OFA) demonstrate that it significantly outperforms its Few-Shot counterparts while surpassing previous comparable methods in terms of the accuracy of derived architectures.

研究动机与目标

• 为解决因在子架构之间过度共享权重而导致的One-Shot NAS性能下降问题。
• 通过用更智能的、基于操作相似性的划分准则替代少样本NAS中的全遍历、操作级划分，实现对少样本NAS的改进。
• 提出一种超网络拆分策略，通过利用子模型之间的梯度相似性，最大化搜索效率与准确性。
• 通过基于梯度的聚类降低每条边的分支因子，实现在固定预算下更高的边划分数量。
• 在多样化的搜索空间、数据集和NAS算法上展示一致的性能提升。

提出的方法

• 提出一种梯度匹配得分（GM），通过计算不同子模型共享权重梯度之间的余弦相似度，评估其在权重共享中的兼容性。
• 将GM得分作为图聚类公式中的加权边，用于将超网络划分为子超网络，从而最小化有害的权重共享。
• 引入基于图最小割（min-cut）的边选择策略，识别最优拆分边，降低方差并提升性能。
• 在拆分后采用超网络预热和子超网络权重重置策略，稳定训练并消除残留的权重共享影响。
• 支持任意分支因子，允许单条拆分边生成多个子超网络，从而在相同预算下实现更多边的划分。
• 在多个NAS基准（NASBench-201、DARTS、MobileNet）和算法（DARTS、SNAS、RSPS、ProxylessNAS、OFA）上应用该方法。

实验结果

研究问题

• RQ1 子模型之间的梯度相似性能否作为判断其是否应在超网络中共享权重的有效准则？
• RQ2 使用梯度匹配指导超网络拆分，是否能带来比全遍历划分更优的性能估计与搜索结果？
• RQ3 通过降低分支因子，GM-NAS是否能在固定预算下实现比少样本NAS更高的边划分数量？
• RQ4 与现有方法相比，GM-NAS在顶级架构之间的排序相关性方面提升了多少？
• RQ5 GM-NAS对超参数选择（如超网络预热周期数和重启策略）的鲁棒性如何？

主要发现

• 在DARTS搜索空间上，GM-NAS实现了2.34%的测试误差，优于当前所有最先进方法。
• 在使用MobileNet搜索空间的ImageNet上，GM-NAS达到19.7%的Top-1测试误差，优于以往可比方法。
• 当分支因子为2时，GM-NAS拆分了四条边（少样本NAS仅拆分两条），在相同预算下实现三倍的边拆分数。
• 在NASBench-201上，GM-NAS在前1%的架构中实现了0.532的Spearman等级相关系数，显著高于少样本NAS的0.117。
• 超网络预热和子超网络重启至关重要：若移除这些策略，CIFAR-10上的平均准确率将从93.95%下降至91.04%。
• 通过最小割策略选择边，将性能方差从0.39降低至0.08，同时将NASBench-201上的平均准确率从93.58%提升至93.95%。