[论文解读] EZNAS: Evolving Zero Cost Proxies For Neural Architecture Scoring

Yash Akhauri, J. Pablo Munoz+2 more|arXiv (Cornell University)|Sep 15, 2022

Machine Learning in Materials Science被引用 5

一句话总结

EZNAS 提出一种遗传编程框架，用于自动发现可解释、可泛化的零样本神经架构评分指标（ZC-NASMs），在多种搜索空间中实现最先进的评分-准确率相关性。通过使用数学运算和神经网络特征演化表达式树，EZNAS 发现了一项指标（EZNAS-A），其在 NASBench-201、NDS 和 NATS-Bench 上表现优异，且仅需不到 24 小时的 CPU 训练时间，相比 NAS 减少了超过 90% 的碳排放。

ABSTRACT

Neural Architecture Search (NAS) has significantly improved productivity in the design and deployment of neural networks (NN). As NAS typically evaluates multiple models by training them partially or completely, the improved productivity comes at the cost of significant carbon footprint. To alleviate this expensive training routine, zero-shot/cost proxies analyze an NN at initialization to generate a score, which correlates highly with its true accuracy. Zero-cost proxies are currently designed by experts conducting multiple cycles of empirical testing on possible algorithms, datasets, and neural architecture design spaces. This experimentation lowers productivity and is an unsustainable approach towards zero-cost proxy design as deep learning use-cases diversify in nature. Additionally, existing zero-cost proxies fail to generalize across neural architecture design spaces. In this paper, we propose a genetic programming framework to automate the discovery of zero-cost proxies for neural architecture scoring. Our methodology efficiently discovers an interpretable and generalizable zero-cost proxy that gives state of the art score-accuracy correlation on all datasets and search spaces of NASBench-201 and Network Design Spaces (NDS). We believe that this research indicates a promising direction towards automatically discovering zero-cost proxies that can work across network architecture design spaces, datasets, and tasks.

研究动机与目标

• 自动化设计零样本神经架构评分指标（ZC-NASMs），消除手动、依赖专家的试错过程。
• 开发一种可在多样化神经架构设计空间、数据集和任务中泛化的 ZC-NASM。
• 创建一种源自表达式树的可解释、人类可读的评分指标，明确展示哪些网络特征和操作对评分有贡献。
• 通过用高效、零样本代理评估替代昂贵训练，显著降低神经架构搜索的碳足迹。
• 通过发现不局限于特定架构或数据集的稳健 ZC-NASMs，实现可扩展、高效且可持续的 NAS。

提出的方法

• EZNAS 使用遗传编程演化表示 ZC-NASMs 的表达式树，其中每个节点为数学运算，每个叶节点为神经网络特征（例如，梯度范数、激活统计量）。
• 该框架基于评分-准确率相关性（Spearman等级相关系数）设计适应度函数，衡量代理评分与真实验证准确率在一组架构中的相关性。
• 演化操作包括变异（例如，更改运算或特征）、交叉（交换子树）以及基于适应度的选择，以演化出性能更优的表达式树。
• 搜索从一组多样化的随机表达式树初始化，并通过每轮对每个架构仅进行一次前向传播（在小批量数据上）进行多代演化。
• 该方法仅在 NDS DARTS 搜索空间上进行训练，但评估其在未见空间（如 NASBench-201 和 NATS-Bench）上的泛化能力。
• 最终发现的指标 EZNAS-A 是一个紧凑、可解释的表达式树，结合了多种网络统计量和运算，如基于范数和梯度的特征。

实验结果

研究问题

• RQ1 遗传编程框架能否自动发现可在多样化神经架构设计空间中泛化的零样本神经架构评分指标？
• RQ2 所演化出的 ZC-NASM 是否能在无需任务特定或架构特定调优的情况下实现最先进的评分-准确率相关性？
• RQ3 所演化指标的可解释性在多大程度上提升了对预测神经网络性能的关键属性的理解？
• RQ4 与传统 NAS 和手动代理设计相比，自动化发现过程的效率和碳足迹如何？
• RQ5 所演化出的 ZC-NASM 是否能有效对搜索空间中的高性能架构进行排序，特别是在前 10% 内？

主要发现

• 作为性能最佳的所演化 ZC-NASM，EZNAS-A 在 NASBench-201（CIFAR-10、CIFAR-100、ImageNet16-120）和 NDS（DARTS、PNAS）搜索空间中实现了最先进的评分-准确率相关性。
• 该指标在 NATS-Bench 和 NDS ImageNet 上也表现出有效泛化，展示了在先前未见的数据集和架构上的强相关性。
• EZNAS 在单个 Intel Xeon Gold 6242 CPU 上于 24 小时内完成 ZC-NASM 的发现，仅消耗 358.6 克 CO2e，相比典型 NAS 搜索（4.49 千克 CO2e）减少超过 90%。
• 所演化指标具有可解释性，表现为表达式树，明确显示梯度范数、权重方差和激活统计量等特征通过数学运算组合以预测性能。
• EZNAS-A 在泛化性能上优于现有 ZC-NASMs（如 synflow 和 SNIP），尤其在 NDS 和 ImageNet16-120 空间中，此前方法表现失败。
• 该方法对批量大小和随机种子变化表现出鲁棒性，在 NDS PNAS 空间上对 7 个随机种子和多种批量大小均保持一致的高相关性。