[论文解读] Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars

Simon Schrodi, Danny Stoll+4 more|arXiv (Cornell University)|Nov 3, 2022

Advanced Neural Network Applications被引用 5

一句话总结

本文提出了一种基于上下文无关文法（CFG）的统一框架，用于构建分层神经架构搜索（NAS）空间，能够生成紧凑、表达能力强且规则的搜索空间，其规模比以往工作高出数个数量级。该研究提出BOHNAS方法，一种采用分层核的贝叶斯优化技术，可高效搜索这些庞大的空间，并在多个基准上实现最先进性能，包括在ImageNet-16-120上实现4.99%的准确率提升。

ABSTRACT

The discovery of neural architectures from simple building blocks is a long-standing goal of Neural Architecture Search (NAS). Hierarchical search spaces are a promising step towards this goal but lack a unifying search space design framework and typically only search over some limited aspect of architectures. In this work, we introduce a unifying search space design framework based on context-free grammars that can naturally and compactly generate expressive hierarchical search spaces that are 100s of orders of magnitude larger than common spaces from the literature. By enhancing and using their properties, we effectively enable search over the complete architecture and can foster regularity. Further, we propose an efficient hierarchical kernel design for a Bayesian Optimization search strategy to efficiently search over such huge spaces. We demonstrate the versatility of our search space design framework and show that our search strategy can be superior to existing NAS approaches. Code is available at https://github.com/automl/hierarchical_nas_construction.

研究动机与目标

• 为解决当前缺乏统一框架来设计支持所有抽象层级完整架构搜索的分层神经架构搜索空间的问题。
• 实现高度表达性、规则性且符合约束条件的搜索空间构建，其规模比现有方法高出数个数量级。
• 开发一种高效的贝叶斯优化策略，能够有效导航指数级增长的分层搜索空间。
• 通过实证验证该框架在卷积神经网络、Transformer模型以及多样化架构设计选择中的通用性。
• 通过遵循最佳实践并发布代码与超参数，推动可复现的NAS研究。

提出的方法

• 本文将神经架构建模为由上下文无关文法（CFG）生成的函数复合结构，从而实现从基础构建模块递归、分层地构造架构。
• 通过引入机制增强CFG，实现通过替换操作保持规则性，并支持用户自定义的架构约束。
• 设计了一种新颖的分层核用于贝叶斯优化（BOHNAS），通过整合多个粒度的架构组件，建模跨层级的复杂依赖关系。
• 该方法支持对非线性宏观拓扑结构（如跳跃连接和分支结构）的搜索，不限于线性或基于单元的结构。
• 将该框架集成到NAS-Bench-201及其衍生基准中，以实现对宏观架构和模块重复等架构特性进行受控评估。
• 采用一致的训练协议、超参数和随机种子，开展广泛的消融实验与对比研究，确保公平基准测试。

实验结果

研究问题

• RQ1 基于CFG的框架是否能够统一并扩展分层神经架构搜索空间的构建，同时保持规则性并支持复杂拓扑结构？
• RQ2 所提出的BOHNAS方法在大规模、分层搜索空间中与现有NAS基线相比表现如何？
• RQ3 该框架在多大程度上能够发现超越标准单元化或线性设计的新型架构模式？
• RQ4 架构设计选择（如宏观架构或模块重复）在不同数据集和模型类型中对模型性能有何影响？
• RQ5 该框架是否可在相同搜索协议下有效应用于多样化架构，包括卷积神经网络和Transformer模型？

主要发现

• 所提出的基于CFG的搜索空间构建方法，使得生成的搜索空间规模比以往NAS工作高出数百个数量级，同时保持了表达能力与规则性。
• BOHNAS在8个数据集中的6个上达到最先进性能，包括在使用NAS-Bench-201训练协议的ImageNet-16-120上实现4.99%的准确率提升。
• 该方法成功发现新型架构，包括一个用于情感分析的发现型Transformer分类头，证明其具备突破标准搜索空间约束的探索能力。
• 该框架在多样化架构（包括卷积神经网络和Transformer）上均实现有效搜索，并在两类模型上均获得一致的性能提升。
• 消融实验验证了BOHNAS中分层核相较于标准核（如WL、GCN）的优越性，并在多个搜索运行和随机种子下均表现出一致的性能增益。
• 本工作遵循NAS最佳实践清单，完整发布代码、超参数与随机种子，确保可复现性与公平比较。