[论文解读] Graph Learning-Convolutional Networks

Bo Jiang, Ziyan Zhang+2 more|arXiv (Cornell University)|Nov 25, 2018

Advanced Graph Neural Networks参考文献 13被引用 7

一句话总结

本文提出图学习-卷积网络（GLCN），一种统一的深度学习框架，通过联合优化图结构学习与图卷积，实现半监督节点分类。通过同时利用真实标签与预测标签作为弱监督信号，GLCN在训练过程中动态优化图拓扑结构，在七个基准数据集上均取得最先进性能，尤其在图像和引文网络上相较GCN与GAT取得显著提升。

ABSTRACT

Recently, graph Convolutional Neural Networks (graph CNNs) have been widely used for graph data representation and semi-supervised learning tasks. However, existing graph CNNs generally use a fixed graph which may be not optimal for semi-supervised learning tasks. In this paper, we propose a novel Graph Learning-Convolutional Network (GLCN) for graph data representation and semi-supervised learning. The aim of GLCN is to learn an optimal graph structure that best serves graph CNNs for semi-supervised learning by integrating both graph learning and graph convolution together in a unified network architecture. The main advantage is that in GLCN, both given labels and the estimated labels are incorporated and thus can provide useful 'weakly' supervised information to refine (or learn) the graph construction and also to facilitate the graph convolution operation in GLCN for unknown label estimation. Experimental results on seven benchmarks demonstrate that GLCN significantly outperforms state-of-the-art traditional fixed structure based graph CNNs.

研究动机与目标

• 为解决现有图CNN中固定图结构的局限性，其结构可能并非半监督学习的最优选择。
• 将图学习与图卷积整合为单一端到端可训练架构，以提升表征学习效果。
• 利用真实标签与预测标签作为弱监督信号，优化图构建过程并提升分类性能。
• 设计一种统一的训练范式，避免对图结构与模型参数进行分步优化。
• 在多样化的半监督学习基准上，相比最先进方法，展现出更优性能。

提出的方法

• GLCN引入可微分图学习模块，在反向传播过程中利用真实标签与预测标签联合更新邻接矩阵。
• 模型采用改进的GCN层，通过 $ D^{-1/2}AD^{-1/2} $ 实现对称归一化邻接矩阵，保持计算效率。
• 采用联合损失函数，结合交叉熵损失与正则化项 $ \lambda \| \hat{Y} - Y \|_F^2 $，以对齐预测标签与真实标签，引导图结构优化。
• 图结构与GCN参数端到端联合优化，实现拓扑结构与特征表示的联合学习。
• 该框架支持任意图卷积操作，并兼容多种GCN变体。
• 方法在单一优化循环中完成训练，简化实现流程并提升收敛性。

实验结果

研究问题

• RQ1 联合学习图结构并执行图卷积，是否能超越固定图结构GCN，在半监督节点分类任务中取得更好性能？
• RQ2 同时引入真实标签与预测标签作为监督信号，如何提升图学习质量与模型性能？
• RQ3 对图结构与模型参数进行端到端联合优化，是否能带来优于分步训练图与模型组件的泛化能力？
• RQ4 GLCN对超参数（如网络深度、隐藏单元数、图学习正则化权重 $ \lambda $）的敏感性如何？
• RQ5 GLCN能否泛化至半监督节点分类以外的其他图学习任务？

主要发现

• GLCN在全部七个基准数据集上均优于基线GCN，在引文网络（Cora、Citeseer、PubMed）上平均准确率提升3.7%，在图像数据集（CIFAR10、SVHN、MNIST、Scene15）上最高提升达4.5%。
• 在MNIST数据集上，GLCN在两层卷积结构下达到94.10%的测试准确率，而GCN在相同配置下仅为90.70%。
• GLCN在所有数据集上均持续优于GAT、LP、ManiReg与DeepWalk，展现出更强的表征学习能力与泛化性能。
• 模型对深度与隐藏单元数的变化具有鲁棒性，在不同配置下性能下降极小。
• 图学习正则化参数 $ \lambda $ 有助于提升性能，最优值约为 $ 10^{-2} $，即使 $ \lambda = 0 $ 也能取得合理结果，表明方法具有高度稳定性。
• 可视化结果表明，与GCN相比，GLCN在隐藏层生成更具判别性的节点表征，从而显著提升分类性能。