[论文解读] A Study on Encodings for Neural Architecture Search

Colin White, Willie Neiswanger+2 more|arXiv (Cornell University)|Jul 9, 2020

Neural Networks and Applications参考文献 32被引用 5

一句话总结

本文首次对神经架构搜索（NAS）编码进行了形式化研究，分析了不同表示方式（如邻接矩阵编码与路径编码）对算法性能的影响。研究证明，编码选择显著影响随机采样、架构扰动和预测器训练等关键NAS子程序的性能，其中邻接编码在泛化能力和可扩展性方面普遍优于路径编码。

ABSTRACT

Neural architecture search (NAS) has been extensively studied in the past few years. A popular approach is to represent each neural architecture in the search space as a directed acyclic graph (DAG), and then search over all DAGs by encoding the adjacency matrix and list of operations as a set of hyperparameters. Recent work has demonstrated that even small changes to the way each architecture is encoded can have a significant effect on the performance of NAS algorithms. In this work, we present the first formal study on the effect of architecture encodings for NAS, including a theoretical grounding and an empirical study. First we formally define architecture encodings and give a theoretical characterization on the scalability of the encodings we study Then we identify the main encoding-dependent subroutines which NAS algorithms employ, running experiments to show which encodings work best with each subroutine for many popular algorithms. The experiments act as an ablation study for prior work, disentangling the algorithmic and encoding-based contributions, as well as a guideline for future work. Our results demonstrate that NAS encodings are an important design decision which can have a significant impact on overall performance. Our code is available at https://github.com/naszilla/nas-encodings.

研究动机与目标

• 正式定义并分析架构编码对神经架构搜索（NAS）性能的影响。
• 识别并评估NAS算法中与编码相关的子程序，如随机采样、扰动和预测器训练。
• 通过消融研究，将算法贡献与编码相关贡献从以往NAS工作中分离出来。
• 评估在不同编码下训练的神经预测器在搜索空间边界外的泛化能力。
• 根据特定NAS子程序和使用场景，提供选择最优编码的实际建议。

提出的方法

• 将编码定义为将神经架构映射到实值张量的多函数，形式化先前非正式的表示方式。
• 通过截断导致的信息损失来表征可扩展性，识别出路径编码在 $ r^{k/n} $ 处存在相变。
• 实现并评估八种不同的编码：邻接编码、分类邻接编码、路径编码、截断路径编码、分类路径编码以及截断分类路径编码。
• 在三个核心NAS子程序上进行消融研究：随机架构采样、架构扰动和预测器模型训练。
• 在NASBench-101的一个子集上训练神经预测器，并在具有不同编码的不相交搜索空间上测试泛化能力。
• 通过测量每种编码定义的等价类内准确率的平均标准差，评估信息损失。

实验结果

研究问题

• RQ1 架构编码的选择如何影响NAS表示的可扩展性和信息保留能力？
• RQ2 在三个核心NAS子程序（随机采样、扰动和预测器训练）中，哪种编码表现最佳？
• RQ3 在某一搜索空间上训练的神经预测器能否泛化到不相交的搜索空间？这种泛化能力在多大程度上依赖于所使用的编码？
• RQ4 不同编码在截断时在多大程度上保留或丢失信息？
• RQ5 某些编码（如路径编码）的非单射性如何影响等价类内准确率的方差？

主要发现

• 路径编码在 $ r^{k/n} $ 处表现出尖锐的相变，信息损失接近完全，低于 $ r^{k/(2n)} $ 时即发生，理论预测与此一致。
• 邻接编码在预测器泛化方面优于路径编码，其Top-10平均测试误差为6.056，而截断分类路径编码为6.335。
• 路径编码在等价类内准确率的平均标准差为0.353%，显著低于所有架构的5.55%，表明性能相近的模型具有良好的聚类特性。
• 分类邻接编码和路径编码的泛化能力劣于标准邻接编码，可能由于分布外架构中存在稀疏性和特征不匹配问题。
• 路径编码的理论可扩展性表征与实证结果一致，验证了相变模型。
• 本研究成功分离了算法贡献与编码贡献，表明编码选择本身可以是NAS性能的主导因素，独立于算法设计。