[论文解读] To Share or Not To Share: A Comprehensive Appraisal of Weight-Sharing

Aloïs Pourchot, Alexis Ducarouge+1 more|arXiv (Cornell University)|Feb 11, 2020

Food Waste Reduction and Sustainability参考文献 27被引用 13

一句话总结

本文使用 nasbench-101 数据集评估了神经架构搜索（NAS）中的权重重用（WS），表明尽管 WS 在代理准确率与真实准确率之间实现了尚可的相关性，但由于代理评估中存在与搜索空间相关的偏差，其性能通常无法超越随机搜索。研究发现，WS 超网络中的结构偏差（如对残差连接或 3×3 卷积的高估）往往比相关性水平本身对 NAS 性能的负面影响更大。

ABSTRACT

Weight-sharing (WS) has recently emerged as a paradigm to accelerate the automated search for efficient neural architectures, a process dubbed Neural Architecture Search (NAS). Although very appealing, this framework is not without drawbacks and several works have started to question its capabilities on small hand-crafted benchmarks. In this paper, we take advantage of the asbench dataset to challenge the efficiency of WS on a representative search space. By comparing a SOTA WS approach to a plain random search we show that, despite decent correlations between evaluations using weight-sharing and standalone ones, WS is only rarely significantly helpful to NAS. In particular we highlight the impact of the search space itself on the benefits.

研究动机与目标

• 评估权重重用（WS）是否在与随机搜索的比较中始终能提升神经架构搜索（NAS）的效率。
• 探究搜索空间结构在塑造 WS 代理评估偏差中的作用。
• 确定 WS 代理分数与独立准确率之间的高相关性是否能保证更好的 NAS 性能。
• 考察批归一化微调和训练方法对 WS 评估质量的影响。
• 理解为何 WS 有时会表现不如随机搜索或正则化进化等简单基线方法。

提出的方法

• 利用 nasbench-101 数据集（提供超过 10 万个架构的精确验证准确率）来评估 WS 性能。
• 在四个不同的搜索空间 $\mathcal{A}_1$, $\mathcal{A}_4$, $\mathcal{A}_{\text{full}}^{\text{res}}$, 和 $\mathcal{A}_{\text{full}}^{\text{res}}$ 上使用权重重用训练超网络。
• 对超网络中的批归一化统计量进行微调，以提高代理准确率与独立评估结果之间的相关性。
• 在相同搜索空间上，将 WS 引导的搜索与随机搜索和正则化进化（RE）进行对比。
• 通过代理准确率与真实准确率的散点图分析，识别 WS 评估中的结构偏差。
• 使用聚类和分布分析检测对特定架构模式的系统性高估或低估。

实验结果

研究问题

• RQ1 在不同搜索空间中，权重重用是否始终能提升 NAS 性能，相比随机搜索？
• RQ2 WS 代理分数与独立准确率之间的相关性在多大程度上能预测实际的 NAS 成功？
• RQ3 超网络中的结构偏差在多大程度上影响了 WS 作为 NAS 代理的可靠性？
• RQ4 WS 评估中与搜索空间相关的偏差是否可以解释为何 WS 有时会表现不如简单基线方法？
• RQ5 批归一化微调在提升 WS 代理评估质量方面起到什么作用？

主要发现

• 微调批归一化统计量对于实现 WS 代理分数与独立准确率之间高相关性至关重要。
• 尽管相关性尚可（例如某些情况下斯皮尔曼等级相关系数 > 0.7），WS 引导的搜索并未始终优于随机搜索或正则化进化。
• 在 $\mathcal{A}_4$ 上，对第一节点使用 3×3 卷积的架构存在强烈的高估偏差，导致顶级模型选择效果差，使 WS 表现甚至劣于随机搜索。
• 在 $\mathcal{A}_1$ 上，对残差连接的偏好提升了 WS 性能，表明 WS 效率高度依赖于搜索空间结构。
• 代理准确率分布中存在多个峰值，表明存在系统性偏差，而这些偏差无法仅通过相关性度量捕捉。
• WS 评估中与搜索空间相关的偏差（如对特定架构模式的高估）往往比相关性质量本身对 NAS 结果的影响更大。