[论文解读] Graph Property Prediction on Open Graph Benchmark: A Winning Solution by Graph Neural Architecture Search

Xu Wang, Huan Zhao+2 more|arXiv (Cornell University)|Jul 13, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出了一种神经架构搜索框架，结合池化架构搜索（Pooling Architecture Search, PAS）与F²GNN，以自动发现适用于图属性预测的最优图神经网络架构。通过联合搜索聚合函数与可学习特征融合的GNN拓扑结构，该方法在三个OGB基准数据集——ogbg-molhiv、ogbg-molpcba和ogbg-ppa上实现了最先进（SOTA）的性能表现，超越了固定架构的模型，并在分子与生物图任务中展现出强大的泛化能力。

ABSTRACT

Aiming at two molecular graph datasets and one protein association subgraph dataset in OGB graph classification task, we design a graph neural network framework for graph classification task by introducing PAS(Pooling Architecture Search). At the same time, we improve it based on the GNN topology design method F2GNN to further design the feature selection and fusion strategies, so as to further improve the performance of the model in the graph property prediction task while overcoming the over smoothing problem of deep GNN training. Finally, a performance breakthrough is achieved on these three datasets, which is significantly better than other methods with fixed aggregate function. It is proved that the NAS method has high generalization ability for multiple tasks and the advantage of our method in processing graph property prediction tasks.

研究动机与目标

• 解决在多种图类型上设计最优GNN架构用于图属性预测的挑战。
• 通过自适应架构搜索与特征融合，克服深度GNN中的过平滑问题。
• 在不依赖外部数据集的前提下，提升OGB图级别分类基准的性能。
• 证明神经架构搜索（NAS）在多种图学习任务中的泛化能力。

提出的方法

• 通过池化架构搜索（PAS）引入可微分的池化操作与聚合函数搜索框架。
• 通过F²GNN增强PAS，F²GNN是一种通过可微操作学习最优GNN连接模式的拓扑结构搜索方法。
• 应用可学习的特征选择与融合机制，以在深度GNN中保持节点表示的判别能力。
• 采用包含多种GAT变体与残差式连接模式的搜索空间，以提升模型表达能力。
• 采用两阶段搜索策略：首先优化每层的聚合函数；其次通过F²GNN搜索深层模型的拓扑结构。
• 利用可微分架构搜索，联合优化消息传递函数与图拓扑结构，以增强归纳偏置。

实验结果

研究问题

• RQ1 神经架构搜索（NAS）是否能在多种图类型上的图属性预测任务中超越固定GNN架构？
• RQ2 PAS与F²GNN的结合在缓解深度GNN中的过平滑问题方面有多有效？
• RQ3 所提出的方法是否能在无需针对任务调整架构的情况下，泛化到分子与生物图数据集？
• RQ4 可学习的特征融合与自适应拓扑设计是否能提升在大规模图基准（如OGB）上的性能？
• RQ5 在不使用外部数据的情况下，架构搜索对模型性能有何影响？

主要发现

• 所提方法在ogbg-molhiv上取得第一名，测试ROC-AUC达0.8420 ± 0.0015，优于Graphormer与CIN。
• 在ogbg-molpcba上，该方法实现测试平均精度（AP）为0.3147 ± 0.0015，显著超越PAS（0.3012）及其他SOTA模型。
• 在ogbg-ppa上，该方法达到82.01%的测试准确率，远超ExpC*（81.40%）与PAS（78.28%）。
• 将F²GNN整合进PAS后，所有三个数据集的性能均得到提升，证实了拓扑搜索在深度GNN中的价值。
• 该方法在未使用外部数据集的情况下实现SOTA结果，证明了其在真实图学习场景中的有效性与泛化能力。
• 消融实验证实，PAS与F²GNN在性能提升方面均具有独立贡献，并存在协同增益效应。