[论文解读] Rethinking Graph Neural Network Search from Message-passing.

Shaofei Cai, Liang Li+5 more|arXiv (Cornell University)|Mar 26, 2021

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出图神经架构搜索（GNAS），一种神经架构搜索框架，可自动发现具有合适消息传递深度和机制的最优图神经网络（GNN）架构。通过引入基于树状拓扑的计算范式，并结合细粒度的原子操作——特征过滤与邻居聚合，GNAS 在三个基准任务的五个大规模图数据集上，均优于当前最先进的人工设计及搜索型GNN模型。

ABSTRACT

Graph neural networks (GNNs) emerged recently as a standard toolkit for learning from data on graphs. Current GNN designing works depend on immense human expertise to explore different message-passing mechanisms, and require manual enumeration to determine the proper message-passing depth. Inspired by the strong searching capability of neural architecture search (NAS) in CNN, this paper proposes Graph Neural Architecture Search (GNAS) with novel-designed search space. The GNAS can automatically learn better architecture with the optimal depth of message passing on the graph. Specifically, we design Graph Neural Architecture Paradigm (GAP) with tree-topology computation procedure and two types of fine-grained atomic operations (feature filtering and neighbor aggregation) from message-passing mechanism to construct powerful graph network search space. Feature filtering performs adaptive feature selection, and neighbor aggregation captures structural information and calculates neighbors' statistics. Experiments show that our GNAS can search for better GNNs with multiple message-passing mechanisms and optimal message-passing depth. The searched network achieves remarkable improvement over state-of-the-art manual designed and search-based GNNs on five large-scale datasets at three classical graph tasks. Codes can be found at this https URL

研究动机与目标

• 为解决人工GNN设计的局限性，即过度依赖专家知识与繁琐的超参数调优。
• 消除在GNN中手动枚举消息传递深度的需求。
• 构建一个可自动发现性能更优GNN架构的搜索空间。
• 通过自动化架构搜索，探索超越标准设计的消息传递机制的有效性。
• 利用所提出的搜索框架，在大规模图学习任务中实现最先进性能。

提出的方法

• 提出一种基于树状拓扑计算结构的图神经架构范式（GAP），以支持系统化的架构搜索。
• 引入两类细粒度的原子操作：用于自适应特征选择的特征过滤，以及用于捕捉结构信息的邻居聚合。
• 基于消息传递机制设计搜索空间，使搜索过程能够探索多样化的架构配置。
• 采用神经架构搜索（NAS）技术，自动识别最优的消息传递深度与操作组合。
• 采用可微分搜索策略，高效优化架构搜索过程。
• 利用支持多种消息传递机制与动态深度选择的搜索空间。

实验结果

研究问题

• RQ1 神经架构搜索能否有效适配图神经网络，以自动化地设计最优消息传递机制？
• RQ2 不同图学习任务的最优消息传递深度为何？能否实现自动发现？
• RQ3 细粒度的原子操作——特征过滤与邻居聚合——如何促进构建更强大的GNN架构？
• RQ4 所提出的搜索空间是否能在大规模图基准上超越现有手工设计与搜索型GNN？
• RQ5 GAP中的树状拓扑计算结构是否相比标准搜索空间，能实现更高效、更有效的架构搜索？

主要发现

• 所搜索得到的GNN架构在五个大规模图数据集上，于三个经典图学习任务中均实现了最先进性能。
• GNAS发现的架构具备最优的消息传递深度，消除了对手动超参数调优的需求。
• 搜索空间中特征过滤与邻居聚合的组合，显著提升了性能，优于标准GNN模型。
• 所提出的框架在所有评估基准上，均优于手工设计与现有搜索型GNN模型。
• 搜索过程高效且有效，展示了所提搜索空间的可扩展性与鲁棒性。