[论文解读] Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels

Binxin Ru, Xingchen Wan+2 more|arXiv (Cornell University)|Jun 13, 2020

Machine Learning and Data Classification参考文献 82被引用 20

一句话总结

本文提出 NAS-BOWL，一种用于神经架构搜索的贝叶斯优化框架，该框架使用带有 Weisfeiler-Lehman 图核的高斯过程代理模型来建模神经架构搜索空间。通过捕捉拓扑结构并实现可解释的特征提取，NAS-BOWL 在数据效率方面表现出色，达到最先进性能，并揭示了影响性能的关键架构基元。

ABSTRACT

Current neural architecture search (NAS) strategies focus only on finding a single, good, architecture. They offer little insight into why a specific network is performing well, or how we should modify the architecture if we want further improvements. We propose a Bayesian optimisation (BO) approach for NAS that combines the Weisfeiler-Lehman graph kernel with a Gaussian process surrogate. Our method optimises the architecture in a highly data-efficient manner: it is capable of capturing the topological structures of the architectures and is scalable to large graphs, thus making the high-dimensional and graph-like search spaces amenable to BO. More importantly, our method affords interpretability by discovering useful network features and their corresponding impact on the network performance. Indeed, we demonstrate empirically that our surrogate model is capable of identifying useful motifs which can guide the generation of new architectures. We finally show that our method outperforms existing NAS approaches to achieve the state of the art on both closed- and open-domain search spaces.

研究动机与目标

• 为解决现有 NAS 方法的黑箱特性，将可解释性引入架构搜索过程。
• 实现在高维、图结构 NAS 搜索空间中的数据高效优化。
• 识别能够解释性能表现并指导未来设计的有意义架构基元。
• 在封闭域与开放域搜索空间中均超越现有的基于贝叶斯优化的 NAS 方法。

提出的方法

• 该方法使用高斯过程代理模型（GPWL）结合 Weisfeiler-Lehman 子树核，以建模神经架构图的拓扑结构。
• 架构表示被编码为带有节点属性的有向无环图（DAG），以保留拓扑结构用于核计算。
• GPWL 代理模型支持数据高效学习，具备不确定性量化能力，并可自动处理超参数。
• 通过 WL 核提取可解释特征，并利用代理梯度分析其对性能的影响。
• 在每次贝叶斯优化迭代中采用基于变异的获取策略生成新的候选架构。
• 该框架支持封闭域（NAS-Bench）与开放域（DARTS 风格）搜索空间。

实验结果

研究问题

• RQ1 基于核的 GP 代理模型能否有效建模神经架构搜索空间的拓扑结构？
• RQ2 WL 核能否提取与性能相关联的可解释架构基元？
• RQ3 与现有方法相比，GPWL 代理模型是否能实现数据高效且高性能的 NAS？
• RQ4 所识别的基元能否用于指导新任务上的迁移学习与热启动搜索？

主要发现

• NAS-BOWL 在 NAS-Bench 101 和 201 数据集上均达到最先进性能，且在更少查询次数下超越了现有基于贝叶斯优化的 NAS 方法。
• 该方法展现出卓越的数据效率，在显著少于对比方法的架构评估次数下即收敛至最优性能。
• WL 核的多尺度特征提取至关重要：仅使用节点特征（VH）会导致性能显著下降，凸显了拓扑结构的重要性。
• 通过 WL 核提取的可解释特征对应于有意义的架构基元，经验证对迁移学习具有实际帮助。
• 获取函数的选择（UCB 与期望改进）对性能影响极小，表明对获取策略具有鲁棒性。
• 采用变异算法显著提升了搜索性能，证明其在探索搜索空间方面的有效性。