[论文解读] Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks

Xin Chen, Lingxi Xie+4 more|arXiv (Cornell University)|Apr 17, 2020

Advanced Neural Network Applications参考文献 43被引用 8

一句话总结

本文提出使用图卷积网络（GCN）来校正权重共享神经架构搜索（NAS）中的性能估计误差，其中从超网络中采样的子网络由于训练不稳定性而受到随机噪声影响。通过在采样架构上训练轻量级GCN以学习更准确的性能代理，该方法实现了更高的等级相关性（Kendall-τ最高达0.76），并提升了最终准确率（在ImageNet上top-1准确率提升至75.5–75.6%），同时在硬件约束下实现了灵活的搜索。

ABSTRACT

Neural architecture search has attracted wide attentions in both academia and industry. To accelerate it, researchers proposed weight-sharing methods which first train a super-network to reuse computation among different operators, from which exponentially many sub-networks can be sampled and efficiently evaluated. These methods enjoy great advantages in terms of computational costs, but the sampled sub-networks are not guaranteed to be estimated precisely unless an individual training process is taken. This paper owes such inaccuracy to the inevitable mismatch between assembled network layers, so that there is a random error term added to each estimation. We alleviate this issue by training a graph convolutional network to fit the performance of sampled sub-networks so that the impact of random errors becomes minimal. With this strategy, we achieve a higher rank correlation coefficient in the selected set of candidates, which consequently leads to better performance of the final architecture. In addition, our approach also enjoys the flexibility of being used under different hardware constraints, since the graph convolutional network has provided an efficient lookup table of the performance of architectures in the entire search space.

研究动机与目标

• 解决从权重共享超网络中采样子网络时性能估计不准确的问题，其根源在于超网络优化过程中的随机训练噪声。
• 通过学习比直接从超网络采样更准确的性能代理，提升NAS中架构排序的可靠性。
• 通过使用训练好的GCN构建轻量级、可泛化的性能查表，实现在多样化硬件约束下的灵活NAS。
• 降低因子网络评估中的随机误差导致收敛至次优架构的风险。

提出的方法

• 将子网络的真实性能建模为超网络估计准确率的线性函数，外加一个均值为零的随机误差项。
• 构建一个图结构，其中节点表示采样得到的子网络，边表示基于共享单元或操作的架构相似性。
• 训练图卷积网络，从架构特征回归到校正后的性能估计，最小化预测值与真实准确率之间的L1损失。
• 将训练好的GCN用作轻量级、快速推理模型，用于预测整个搜索空间的性能，替代直接的超网络评估。
• 将搜索空间划分为子空间，以在构建图时控制计算成本，尤其在CPU内存受限时。
• 通过根据多乘加（multi-add）或延迟约束筛选GCN预测查表中的顶级架构，实现硬件感知搜索。

实验结果

研究问题

• RQ1 图卷积网络能否有效减少权重共享NAS中子网络性能估计的随机误差？
• RQ2 与直接通过超网络评估相比，基于GCN的校正方法在子网络估计性能与真实性能之间的等级相关性方面有何提升？
• RQ3 在固定硬件约束下，基于GCN的方法在ImageNet等基准测试上的最终架构准确率提升程度如何？
• RQ4 该方法在采样架构数量和GCN中相似性度量选择方面如何扩展？
• RQ5 GCN预测能否作为灵活、通用的查表工具，实现多样化硬件约束下的高效NAS？

主要发现

• 所提出的基于GCN的方法在预测与真实性能排名之间实现了高达0.76的Kendall-τ等级相关性，显著优于直接从超网络采样得到的基线值0.2143。
• 在383M多乘加约束下，ImageNet上的top-1准确率达到75.5%，在393M多乘加约束下达到75.6%，优于相同约束下的随机采样和最先进基线方法。
• 每轮使用2,000个采样架构即可获得与5,000个相当的结果，仅增加9 GPU小时的训练时间，表明具有极高的样本效率。
• 每轮保留6个候选架构相比仅保留1个（75.34%），可提升搜索稳定性与最终准确率（75.47%），证实了多样性在搜索中的优势。
• 训练好的GCN通过生成跨不同多乘加水平的快速、准确的性能查表，实现了灵活且硬件感知的架构搜索。
• 该方法可推广至其他硬件约束（如延迟），证明其在FLOPs以外的过滤场景中也具备良好的适应性。