[论文解读] GradSign: Model Performance Inference with Theoretical Insights

Zhihao Zhang, Zhihao Jia|arXiv (Cornell University)|Oct 16, 2021

Advanced Neural Network Applications参考文献 52被引用 6

一句话总结

GradSign 是一种理论基础扎实的基于梯度的模型性能推断（MPI）度量方法，通过样本级优化景观分析来预测神经网络的准确率。它引入了一个理论上的上界 $Ψ$，用于训练和泛化损失，在随机初始化时通过简单的梯度统计量进行近似，并在将该方法集成到神经架构搜索（NAS）算法时，实测性能相比最先进MPI方法最高提升1.1%的测试准确率。

ABSTRACT

A key challenge in neural architecture search (NAS) is quickly inferring the predictive performance of a broad spectrum of networks to discover statistically accurate and computationally efficient ones. We refer to this task as model performance inference (MPI). The current practice for efficient MPI is gradient-based methods that leverage the gradients of a network at initialization to infer its performance. However, existing gradient-based methods rely only on heuristic metrics and lack the necessary theoretical foundations to consolidate their designs. We propose GradSign, an accurate, simple, and flexible metric for model performance inference with theoretical insights. The key idea behind GradSign is a quantity Ψ to analyze the optimization landscape of different networks at the granularity of individual training samples. Theoretically, we show that both the network's training and true population losses are proportionally upper-bounded by Ψ under reasonable assumptions. In addition, we design GradSign, an accurate and simple approximation of Ψ using the gradients of a network evaluated at a random initialization state. Evaluation on seven NAS benchmarks across three training datasets shows that GradSign generalizes well to real-world networks and consistently outperforms state-of-the-art gradient-based methods for MPI evaluated by Spearman's ρ and Kendall's Tau. Additionally, we integrate GradSign into four existing NAS algorithms and show that the GradSign-assisted NAS algorithms outperform their vanilla counterparts by improving the accuracies of best-discovered networks by up to 0.3%, 1.1%, and 1.0% on three real-world tasks.

研究动机与目标

• 解决现有基于梯度的模型性能推断（MPI）方法缺乏理论基础的问题。
• 开发一种无需完整训练即可准确预测神经网络性能的度量方法。
• 通过样本级视角分析初始化时的优化景观。
• 设计一种计算高效且具有泛化能力的理论基础MPI度量方法。
• 通过将该度量方法集成到现有搜索算法中，提升神经架构搜索（NAS）的性能。

提出的方法

• 提出 $Ψ$，一个在合理假设下同时上界训练损失和泛化损失的理论量。
• 将 $Ψ$ 定义为在随机初始化附近凸邻域内局部最优解密度的度量。
• 提出 GradSign 作为 $Ψ$ 的计算高效近似，仅使用初始化时的样本级梯度。
• 通过计算一个训练小批量中样本梯度的符号模式平均值来计算 GradSign。
• 利用 GradSign 分数在NAS流程中对候选架构进行排序，而无需训练。
• 将 GradSign 集成到四种NAS算法（REA、REINFORCE、BOHB、RS）中，以指导架构选择。

实验结果

研究问题

• RQ1 能否基于初始化时的梯度推导出一种具有理论基础的度量方法，以预测模型性能？
• RQ2 通过样本级优化景观分析，是否能比全批量景观分析提供更优的性能推断？
• RQ3 对理论上限 $Ψ$ 的简单近似能否实现最先进MPI性能？
• RQ4 GradSign 在提升NAS算法发现的架构准确率方面效果如何？
• RQ5 GradSign 在超越理想化假设的多样化架构和数据集上是否具有泛化能力？

主要发现

• 在七个NAS基准测试中，GradSign 与真实模型性能的斯皮尔曼等级相关系数（Spearman’s rho）和肯德尔等级相关系数（Kendall’s Tau）均达到最高。
• 在 NAS-Bench-201 上，与原始方法相比，GradSign 辅助的NAS算法在 CIFAR-100 上最高提升1.1%的测试准确率，在 ImageNet16-120 上提升1.0%。
• G-REA 变体在 CIFAR-10 上实现了 94.10 ± 0.52% 的测试准确率，优于 REA（93.85 ± 0.44%）和 A-REA（93.85 ± 0.44%）。
• GradSign 在所有评估的数据集和搜索空间中，持续优于现有的基于梯度的MPI方法。
• 将 GradSign 集成到NAS算法中，可在不增加搜索成本的前提下，获得更准确的架构。
• 即使在现实假设被违反的情况下，GradSign 仍表现出良好的泛化能力，展现出在实际场景中的鲁棒性。