[论文解读] GraphNAS: Graph Neural Architecture Search with Reinforcement Learning

Yang Gao, Hong Yang+3 more|arXiv (Cornell University)|Apr 22, 2019

Advanced Graph Neural Networks参考文献 20被引用 70

一句话总结

GraphNAS 自动搜索图神经网络架构，使用循环控制器和强化学习，在节点分类任务上实现与手设计模型相竞争或优越的性能。它支持传导式和归纳式设置，并引入参数共享以提高搜索效率。

ABSTRACT

Graph Neural Networks (GNNs) have been popularly used for analyzing non-Euclidean data such as social network data and biological data. Despite their success, the design of graph neural networks requires a lot of manual work and domain knowledge. In this paper, we propose a Graph Neural Architecture Search method (GraphNAS for short) that enables automatic search of the best graph neural architecture based on reinforcement learning. Specifically, GraphNAS first uses a recurrent network to generate variable-length strings that describe the architectures of graph neural networks, and then trains the recurrent network with reinforcement learning to maximize the expected accuracy of the generated architectures on a validation data set. Extensive experimental results on node classification tasks in both transductive and inductive learning settings demonstrate that GraphNAS can achieve consistently better performance on the Cora, Citeseer, Pubmed citation network, and protein-protein interaction network. On node classification tasks, GraphNAS can design a novel network architecture that rivals the best human-invented architecture in terms of test set accuracy.

研究动机与目标

• 通过自动化架构搜索减少 GNN 设计的人工工作量。
• 利用强化学习最大化生成的 GNN 的验证准确性。
• 在具有参数共享的大规模 GNN 空间中实现高效搜索。
• 在传导式和归纳式节点分类任务上评估 GraphNAS。
• 证明 GraphNAS 的设计可以匹敌或超越人工设计的架构。

提出的方法

• 采用循环神经网络作为控制器，将架构描述生成为一系列标记。
• 定义包括每层采样、相关性、聚合、残差和门控函数在内的灵活搜索空间。
• 使用策略梯度训练控制器，以最大化生成的 GNN 的期望验证准确性。
• 跨生成的子 GNN 共享参数以加速训练（并用一种同时兼顾体系结构兼容性的共享策略）。
• 对每个采样的 GNN 在验证集上训练，以获取控制器更新的奖励信号。
• 通过从已训练的控制器中采样多个模型并从头开始重新训练最佳候选模型，推导出架构。

实验结果

研究问题

• RQ1 强化学习是否能够在大规模、异质化的搜索空间中有效自动化搜索图神经网络架构？
• RQ2 GraphNAS 在传导式和归纳式设置下，是否能在标准数据集上产生优于或接近手设计基线的 GNN？
• RQ3 参数共享是否在不牺牲最终模型质量的前提下提升搜索效率？
• RQ4 不同架构选择（采样、注意力、聚合、残差连接）对 GNN 性能的影响是什么？

主要发现

• GraphNAS 在 Cora、Citeseer、以及 PubMed 上的准确率持续优于多个基线。
• 在 Cora 上，GraphNAS 以两层架构达到 84.2% ±1.0% 的准确率。
• 在 Citeseer 和 PubMed，GraphNAS 的准确率分别达到 73.1% ±0.9% 和 79.6% ±0.4%。
• 在 PPI 归纳任务中，GraphNAS 在没有跳跃连接的情况下达到 98.6% ±0.1% 的 micro-F1，优于若干强基线。
• 参数共享提升了搜索效率，在多数情况下也提升了最终架构的性能，相较于从头训练。
• GraphNAS 所得到的架构在基准数据集上相对于人类发明的模型（如 GeniePath、GAT）表现出具有竞争力或更优的性能。