[论文解读] Discriminative structural graph classification

Younjoo Seo, Andreas Loukas+1 more|arXiv (Cornell University)|May 31, 2019

Advanced Graph Neural Networks参考文献 33被引用 11

一句话总结

本文提出一种具有有限判别能力的图神经网络，采用求和与直方图聚合函数以提升结构化图分类中的泛化性能。通过结合分层节点与图嵌入网络、随机采样及独热节点表示，该方法在9个基准数据集上实现最先进性能，优于14种基线模型，包括WL核与GNN。

ABSTRACT

This paper focuses on the discrimination capacity of aggregation functions: these are the permutation invariant functions used by graph neural networks to combine the features of nodes. Realizing that the most powerful aggregation functions suffer from a dimensionality curse, we consider a restricted setting. In particular, we show that the standard sum and a novel histogram-based function have the capacity to discriminate between any fixed number of inputs chosen by an adversary. Based on our insights, we design a graph neural network aiming, not to maximize discrimination capacity, but to learn discriminative graph representations that generalize well. Our empirical evaluation provides evidence that our choices can yield benefits to the problem of structural graph classification.

研究动机与目标

• 解决图神经网络中判别能力与泛化性能之间的权衡问题。
• 设计具有有限单射性的聚合函数，能够区分任意固定大小的输入集合，即使输入为对抗性选择。
• 开发一种优先考虑泛化性能而非最大判别能力的GNN架构。
• 评估直方图聚合与采样池化在结构化图分类中的有效性。
• 证明实际GNN性能可超越基于单射性假设的理论极限。

提出的方法

• 采用两阶段架构：先通过节点嵌入网络，再通过图嵌入网络处理节点嵌入的随机子集。
• 在通用近似器之后使用基于直方图的聚合函数，以确保有限单射性。
• 通过有放回的随机采样节点嵌入，以减少计算量并隐式正则化模型。
• 使用节点的独热表示作为节点嵌入网络的输入，以编码结构角色。
• 在全局聚合前对节点嵌入应用图卷积层，以捕捉空间分布模式。
• 通过在10次采样实现上平均logits来控制测试时的方差。

实验结果

研究问题

• RQ1 具有有限判别能力的聚合函数是否比具有最大单射性的函数泛化性能更优？
• RQ2 基于直方图的聚合是否在保持与求和聚合相当的判别能力的同时减少参数量？
• RQ3 对节点嵌入进行随机采样是否能提升泛化性能并减少过拟合？
• RQ4 所提出的GNN在结构化图分类任务中相较于最先进图核与GNN的性能如何？
• RQ5 理论单射性边界在多大程度上限制了实际GNN的性能？

主要发现

• 所提出的GNN在9个基准数据集上实现具有竞争力的准确率，频繁优于14种基线模型，包括6种图核与8种GNN。
• 该模型优于Weisfeiler-Lehman图核，挑战了‘单射聚合是高性能所必需’的假设。
• 基于直方图的聚合在参数更少的情况下实现了与求和聚合相近的判别能力。
• 对节点嵌入的随机采样减少了计算量并提升了泛化性能，甚至在小型图上优于全集聚合。
• 模型在多次采样实现上表现稳健，通过10次运行的平均有效控制了测试时的方差。
• 理论分析证实，单射聚合函数存在维度灾难的指数级问题，使其在真实泛化任务中不切实际。