[论文解读] A Variational-Sequential Graph Autoencoder for Neural Architecture Performance Prediction

David Friede, Jovita Lukasik+2 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Graph Neural Networks参考文献 36被引用 11

一句话总结

该论文提出了一种变分-序列图自编码器（VS-GAE），利用图神经网络（GNNs）将NAS-Bench-101中的神经架构图编码到连续潜在空间中，实现了准确的性能预测和稳定的零样本泛化。该模型在性能预测方面达到了最先进的稳定性，尤其是在从学习到的潜在空间采样时，优于基于离散空间采样的方法。

ABSTRACT

In computer vision research, the process of automating architecture engineering, Neural Architecture Search (NAS), has gained substantial interest. In the past, NAS was hardly accessible to researchers without access to large-scale compute systems, due to very long compute times for the recurrent search and evaluation of new candidate architectures. The NAS-Bench-101 dataset facilitates a paradigm change towards classical methods such as supervised learning to evaluate neural architectures. In this paper, we propose a graph encoder built upon Graph Neural Networks (GNN). We demonstrate the effectiveness of the proposed encoder on NAS performance prediction for seen architecture types as well an unseen ones (i.e., zero shot prediction). We also provide a new variational-sequential graph autoencoder (VS-GAE) based on the proposed graph encoder. The VS-GAE is specialized on encoding and decoding graphs of varying length utilizing GNNs. Experiments on different sampling methods show that the embedding space learned by our VS-GAE increases the stability on the accuracy prediction task.

研究动机与目标

• 通过使用预训练架构进行监督性能预测，解决神经架构搜索（NAS）的高计算成本问题。
• 开发一种能够编码和解码不同长度神经架构图的图自编码器。
• 通过学习一个有意义且稳定的潜在空间，提升对未见架构类型的零样本性能预测能力。
• 通过学习到的潜在空间实现稳定且有意义的新神经架构采样，超越传统的离散空间采样方法。

提出的方法

• 该模型采用基于GNN的编码器，将神经架构图（表示为DAG）嵌入到连续潜在空间中。
• 采用变分自编码器框架，其中潜在码的后验分布通过GNN编码器近似。
• 基于GNN的序列解码器从潜在码重建图，支持端到端训练。
• 该模型在包含423,000个完全训练好的卷积架构的NAS-Bench-101数据集上进行训练。
• 通过学习到的先验分布，在潜在空间中进行采样，从而生成新的有效架构。
• 该方法将潜在空间采样与基于编辑距离和均匀随机采样的离散空间采样进行比较。

实验结果

研究问题

• RQ1 基于GNN的图自编码器能否有效编码和重建不同大小的神经架构图？
• RQ2 VS-GAE学习到的潜在空间是否能实现稳定且准确的性能预测，特别是在零样本设置下？
• RQ3 与基于编辑距离的离散空间采样相比，潜在空间采样在预测稳定性方面表现如何？
• RQ4 该模型能否从潜在空间的先验分布中生成有效且多样化的神经架构？

主要发现

• VS-GAE编码器在长度为6的架构上实现了0.0487（±0.3%）的测试RMSE，长度为7的架构上实现了0.0526（±4%）的测试RMSE，表现出强大的泛化能力。
• 该模型实现了99.99%的重建准确率和95.09%的先验有效性，表明在重建和生成方面均具有高保真度。
• 潜在空间采样在所有样本规模下均显著提升了预测的稳定性，而离散空间采样则表现出较高的波动性。
• 该模型在基于编辑距离的采样上并未展现出相对于均匀随机采样的稳定性优势，表明离散空间采样的局限性。
• VS-GAE学习到的潜在空间能够实现有效且稳定的架构生成与性能预测。