[论文解读] Graph Inference Learning for Semi-supervised Classification

Chunyan Xu, Zhen Cui+4 more|arXiv (Cornell University)|Jan 17, 2020

Advanced Graph Neural Networks参考文献 33被引用 18

一句话总结

该论文提出图推理学习（GIL），一种用于半监督节点分类的新框架，通过图卷积整合节点属性、基于随机游走的节点间路径可达性以及局部拓扑结构，实现对节点标签的推理学习。通过在训练节点到验证节点的结构关系上进行元优化，GIL在低标签率设置下实现了最先进性能，尤其在Cora数据集上比GCN高出1.2%的准确率，在Pubmed、Citeseer和NELL上也表现出色。

ABSTRACT

In this work, we address semi-supervised classification of graph data, where the categories of those unlabeled nodes are inferred from labeled nodes as well as graph structures. Recent works often solve this problem via advanced graph convolution in a conventionally supervised manner, but the performance could degrade significantly when labeled data is scarce. To this end, we propose a Graph Inference Learning (GIL) framework to boost the performance of semi-supervised node classification by learning the inference of node labels on graph topology. To bridge the connection between two nodes, we formally define a structure relation by encapsulating node attributes, between-node paths, and local topological structures together, which can make the inference conveniently deduced from one node to another node. For learning the inference process, we further introduce meta-optimization on structure relations from training nodes to validation nodes, such that the learnt graph inference capability can be better self-adapted to testing nodes. Comprehensive evaluations on four benchmark datasets (including Cora, Citeseer, Pubmed, and NELL) demonstrate the superiority of our proposed GIL when compared against state-of-the-art methods on the semi-supervised node classification task.

研究动机与目标

• 解决现有图卷积网络在标签数据稀缺时半监督节点分类性能下降的问题。
• 开发一种机制，使模型能够基于图拓扑从有标签节点学习如何推理节点标签，而非仅依赖监督训练。
• 通过从训练节点到验证节点学习可迁移的推理知识，提升少样本学习场景下的泛化能力。
• 将多种图信号——节点属性、局部拓扑结构与路径可达性——整合为统一的结构关系，用于标签推理。
• 通过结构关系学习的元学习策略，增强模型对未见测试节点的鲁棒性与适应性。

提出的方法

• 定义一种结构关系，综合节点属性、局部拓扑一致性与节点间路径可达性，以量化节点间的相似性。
• 使用图卷积网络（GCN）从节点属性与局部图结构中编码高层特征。
• 通过基于随机游走的概率估计计算节点间的路径可达性，以捕捉长程依赖关系。
• 利用融合特征与可达性概率，构建有标签参考节点与无标签查询节点之间的结构关系（相似性得分）。
• 应用元优化策略，在训练节点上学习结构关系，并在验证节点上验证泛化能力，实现对测试数据的自我适应。
• 通过交叉熵损失使用分类头端到端训练GIL框架，利用元学习优化以提升推理泛化能力。

实验结果

研究问题

• RQ1 统一框架能否有效整合节点属性、局部拓扑与路径可达性，以提升图上的标签推理性能？
• RQ2 从训练节点到验证节点对结构关系进行元优化，如何增强半监督节点分类中的泛化能力？
• RQ3 在低标签率条件下（如Pubmed数据集），GIL相较于现有GCN方法的性能提升程度如何？
• RQ4 节点表示、路径可达性与结构关系模块对整体性能的独立贡献分别是什么？
• RQ5 GIL中的推理机制是否能很好地泛化到未见的测试节点，尤其是在有标签节点极度有限的情况下？

主要发现

• 在Cora数据集上，当所有模块（节点表示、路径可达性与结构关系）均启用时，GIL达到86.2%的准确率，较GCN（81.5%）提升4.7个百分点。
• 仅引入结构关系模块即可使性能从81.5%提升至85.0%，证明其在实现推理学习中的关键作用。
• 进一步加入路径可达性信息使准确率再提升1.2%（从85.0%增至86.2%），证实其在捕捉长程依赖关系方面的价值。
• 在Pubmed数据集上，仅0.3%的节点被标记，GIL仍保持优异性能，表明其在少样本学习场景中的优越性。
• Cora验证集上的分类误差在前400次迭代内迅速下降，随后趋于平缓，表明元学习推理机制具备有效的知识迁移与收敛能力。
• 由于推理学习过程的存在，GIL的计算开销略高于标准GCN，但整体仍具高效性——在基准数据集上完成推理仅需数秒。