[论文解读] Evaluating Efficient Performance Estimators of Neural Architectures

Xuefei Ning, Changcheng Tang+5 more|arXiv (Cornell University)|Aug 7, 2020

Adversarial Robustness in Machine Learning参考文献 68被引用 30

一句话总结

本文提供一个全面的框架，用于在多个 NAS 基准上评估神经架构搜索的单-shot 估计器（OSEs）和零-shot 估计器（ZSEs），分析它们的偏差和方差，并提供提升其可靠性的策略。

ABSTRACT

Conducting efficient performance estimations of neural architectures is a major challenge in neural architecture search (NAS). To reduce the architecture training costs in NAS, one-shot estimators (OSEs) amortize the architecture training costs by sharing the parameters of one "supernet" between all architectures. Recently, zero-shot estimators (ZSEs) that involve no training are proposed to further reduce the architecture evaluation cost. Despite the high efficiency of these estimators, the quality of such estimations has not been thoroughly studied. In this paper, we conduct an extensive and organized assessment of OSEs and ZSEs on five NAS benchmarks: NAS-Bench-101/201/301, and NDS ResNet/ResNeXt-A. Specifically, we employ a set of NAS-oriented criteria to study the behavior of OSEs and ZSEs and reveal that they have certain biases and variances. After analyzing how and why the OSE estimations are unsatisfying, we explore how to mitigate the correlation gap of OSEs from several perspectives. Through our analysis, we give out suggestions for future application and development of efficient architecture performance estimators. Furthermore, the analysis framework proposed in our work could be utilized in future research to give a more comprehensive understanding of newly designed architecture performance estimators. All codes are available at https://github.com/walkerning/aw_nas.

研究动机与目标

• 评估高效架构性能估计器（OSEs 和 ZSEs）在 NAS 中的质量。
• 在多样的 NAS 基准中识别偏差、方差及失效模式。
• 提供实际策略以缓解估计差距并提升排序可靠性。

提出的方法

• 在五个 NAS 基准上评估并比较一系列 OSEs（单-shot 估计器）和 ZSEs（零-shot 估计器）。
• 使用面向 NAS 的标准（Pearson 相关系数（LC）、Kendall's Tau、SpearmanR、P@topK、BR@K、WR@K）来评估估计器质量。
• 从复杂度层面、操作层面和架构层面对偏差进行分析，以解释估计失败。
• 研究训练、验证数据大小和采样策略如何影响观察结果。
• 提出减小方差、去同构采样（de-isomorphic sampling）以及减少共享程度等缓解技术。

实验结果

研究问题

• RQ1 在跨越多个 NAS 基准的架构排序中，OSEs 和 ZSEs 的表现如何？
• RQ2 影响 OSEs 和 ZSEs 的主要偏差和方差是什么，以及它们为何会发生？
• RQ3 提出的策略是否能够缓解相关性差距并提升 OSEs 与 ZSEs 的排序质量？
• RQ4 单-shot 训练和输入数据属性是否会影响 ZSEs 与 OSEs 的有效性？
• RQ5 在 NAS 实践中应用高效估计器的实际指南是什么？

主要发现

• OSEs 通常在更长的训练和更大量的验证数据下得到提升，但在早期训练阶段对更简单架构的偏差可能依然存在。
• OSEs 的方差来自参数共享和遗忘效应，采样的公平性也会影响偏差。
• 减少共享程度并采用去同构采样可以在 OSEs 中提升排序质量，尤其是在同构空间。
• 零-shot 估计器（ZSEs）通常不如像 #Params 和 #FLOPs 这样的简单基线，且架构层面的 ZSEs 表现出与空间相关的行为。
• 在 ZSEs 中，relu_logdet 和 jacob_cov 的相对优劣依赖于搜索空间，但许多 ZSEs 对某些架构特征表现出不当的偏差。
• 单-shot 训练通常并不提升 ZSEs，且基于梯度的 ZSEs 可能在训练后恶化，因为梯度幅度变得信息量较少。