[论文解读] Fusion Graph Convolutional Networks

Priyesh Vijayan, Yash Chandak+3 more|arXiv (Cornell University)|May 31, 2018

Advanced Graph Neural Networks参考文献 25被引用 5

一句话总结

本文提出F-GCN，一种简单但高效的融合层，通过二项式基函数实现对多跳邻域信息的独立调控，从而增强图卷积网络（GCNs）的性能。通过将K跳表示建模为二项式系数的加权组合，F-GCN显著提升了节点分类性能，在八个基准数据集中的六个上超越了最先进模型，其余数据集上也保持了竞争力。

ABSTRACT

Semi-supervised node classification in attributed graphs, i.e., graphs with node features, involves learning to classify unlabeled nodes given a partially labeled graph. Label predictions are made by jointly modeling the node and its' neighborhood features. State-of-the-art models for node classification on such attributed graphs use differentiable recursive functions that enable aggregation and filtering of neighborhood information from multiple hops. In this work, we analyze the representation capacity of these models to regulate information from multiple hops independently. From our analysis, we conclude that these models despite being powerful, have limited representation capacity to capture multi-hop neighborhood information effectively. Further, we also propose a mathematically motivated, yet simple extension to existing graph convolutional networks (GCNs) which has improved representation capacity. We extensively evaluate the proposed model, F-GCN on eight popular datasets from different domains. F-GCN outperforms the state-of-the-art models for semi-supervised learning on six datasets while being extremely competitive on the other two.

研究动机与目标

• 识别并分析现有GCN在有效捕捉和调控多跳邻域信息方面存在的表示能力有限的问题。
• 解决当前GCN将K跳信息建模为K阶二项式所带来的局限性，即限制了其对不同跳数信息的选择性组合能力。
• 提出一种最小但强大的融合组件，使GCN能够对来自多个跳数的信息实现独立控制。
• 通过实证验证所提出的F-GCN模型在多样化属性图数据集上的优越性。
• 证明该融合机制不仅适用于线性激活，还能在使用ReLU的GCN中提升性能。

提出的方法

• 该方法将K跳邻域表示建模为二项式基函数的线性组合，其中每个基函数对应一个特定的跳数。
• 引入一个可学习的融合层，用于计算来自不同图卷积层的表示的加权组合，每一层对应一个不同的跳数。
• 融合层通过线性变换组合来自多个GCN层的输出，实现对相关跳数的有选择性强调。
• 模型采用标准交叉熵损失进行端到端训练，融合层与GCN权重联合优化。
• 该方法兼容归纳设置（如GraphSAGE）和直推设置（如GCN），可应用于任何基于GCN的架构。
• 二项式基结构确保模型能够表示任意所需的多跳信息组合，从而提升表达能力。

实验结果

研究问题

• RQ1 现有GCN模型能否有效独立调控并组合来自多个跳数的信息？
• RQ2 将多跳邻域信息建模为二项式基函数是否能提升表示能力与分类性能？
• RQ3 所提出的融合层在半监督节点分类任务中与GraphSAGE和GCN等最先进模型相比表现如何？
• RQ4 该融合机制在非线性设置（尤其是使用ReLU激活时）的泛化能力如何？
• RQ5 该融合组件是否能在不同跳数间关系信息模式各异的数据集中提升性能？

主要发现

• F-GCN在八个基准数据集中的六个上超越了最先进模型，显著提升了节点分类准确率。
• 在Amazon共购网络中，F-GCN相比仅使用节点信息的基线模型性能提升了10个百分点，凸显其对多跳关系结构的利用能力。
• 在HUMAN蛋白质-蛋白质相互作用数据集中，即使节点平均度数较高，F-GCN仍从高阶邻域信息中获得了显著性能增益。
• 在Amazon数据集上，F-GCN相比GraphSAGE变体性能提升了约6%，尽管GraphSAGE采用了灵活的非共享聚合函数。
• 融合组件将所有数据集上平均性能差距缩小至最佳模型的0.241%以内，表明其具有高度的一致性与鲁棒性。
• 即使在使用ReLU激活时，融合机制仍带来可测量的性能增益，表明线性分析所得的洞见可有效推广至非线性设置。