[论文解读] Semi-Supervised Node Classification by Graph Convolutional Networks and Extracted Side Information

Mohammad Esmaeili, Aria Nosratinia|arXiv (Cornell University)|Sep 29, 2020

Advanced Graph Neural Networks参考文献 28被引用 9

一句话总结

本文提出GCN-SI，一种新颖的图卷积网络架构，通过将从固定距离内的公共邻居中提取的结构化辅助信息整合到GCN框架中，从而提升半监督节点分类性能。该方法在Cora（84.7%）、Citeseer（74.8%）和PubMed（81.0%）数据集上实现了最先进（SOTA）的准确率，通过结合图结构与推断的节点关系，优于现有方法（包括GCN、GAT和DGCN）。

ABSTRACT

The nodes of a graph existing in a cluster are more likely to connect to each other than with other nodes in the graph. Then revealing some information about some nodes, the structure of the graph (graph edges) provides this opportunity to know more information about other nodes. From this perspective, this paper revisits the node classification task in a semi-supervised scenario by graph convolutional networks (GCNs). The goal is to benefit from the flow of information that circulates around the revealed node labels. The contribution of this paper is twofold. First, this paper provides a method for extracting side information from a graph realization. Then a new GCN architecture is presented that combines the output of traditional GCN and the extracted side information. Another contribution of this paper is relevant to non-graph observations (independent side information) that exists beside a graph realization in many applications. Indeed, the extracted side information can be replaced by a sequence of side information that is independent of the graph structure. For both cases, the experiments on synthetic and real-world datasets demonstrate that the proposed model achieves a higher prediction accuracy in comparison to the existing state-of-the-art methods for the node classification task.

研究动机与目标

• 通过利用图数据中超越标准节点特征的结构模式，提升半监督节点分类的准确率。
• 开发一种基于固定距离内公共邻近度的图拓扑提取有意义辅助信息的方法。
• 将提取的或独立的非图辅助信息与GCN集成，以提升标签预测性能。
• 证明在GCN框架中结合预测标签与结构化辅助信息的有效性。
• 在辅助信息质量各异（包括噪声或合成输入）的情况下，评估模型的鲁棒性与性能。

提出的方法

• 通过计算节点对之间在固定距离（k跳）内的公共邻居数量来提取辅助信息，形成结构相似性矩阵。
• 使用指定跳数内公共邻居的数量构建辅助信息矩阵，以捕捉局部图结构。
• 将辅助信息矩阵与原始节点特征矩阵结合，形成GCN的增强输入。
• 在归纳设置下，使用标记节点的交叉熵损失在组合输入（原始特征 + 辅助信息）上训练GCN。
• 允许模型在图卷积层与辅助信息集成模块之间进行联合优化。
• 在真实世界（Cora、Citeseer、PubMed）和合成（k-SBM）数据集上，按照标准半监督节点分类协议评估性能。

实验结果

研究问题

• RQ1 从图拓扑中提取的结构化辅助信息是否能提升半监督设置下的节点分类准确率？
• RQ2 与标准GCN相比，集成提取的辅助信息对基准数据集上GCN性能的影响如何？
• RQ3 所提出的方法能否有效利用与图结构无关的独立非图辅助信息？
• RQ4 辅助信息质量（如噪声或合成数据）对最终预测准确率的影响如何？
• RQ5 通过辅助信息集成预测标签是否能带来优于标准GCN的泛化性能？

主要发现

• 在Cora数据集上，GCN-SI达到84.7%的准确率，超过标准GCN（81.5%）及其他SOTA方法（如DGCN的83.5%和TAGCN的83.3%）。
• 在Citeseer上，GCN-SI达到74.8%的准确率，优于GCN（70.3%）和GAT（72.5%），表明在各数据集上均保持一致的性能提升。
• 在PubMed上，GCN-SI达到81.0%的准确率，超过先前SOTA方法DGCN（80.0%）和GCN（79.0%）。
• 提取的辅助信息在Cora上的估计质量为63%，Citeseer为52%，PubMed为51%，表明捕捉到了有意义的结构模式。
• 当与噪声合成的辅助信息结合时，模型在辅助信息质量中等或较高时，仍保持高于标准GCN的准确率。
• 辅助信息的集成在所有数据集上均带来显著且一致的测试与验证准确率提升，如图3–6所示。