[论文解读] Graph Convolutional Networks using Heat Kernel for Semi-supervised Learning

Bingbing Xu, Huawei Shen+3 more|arXiv (Cornell University)|Jul 27, 2020

Advanced Graph Neural Networks参考文献 18被引用 7

一句话总结

该论文提出 GraphHeat，一种图卷积网络，利用热核增强低频滤波并强制图信号平滑，通过热扩散动态确定邻近节点。该方法在 Cora、Citeseer 和 PubMed 数据集上实现了半监督节点分类的最先进性能，通过灵活捕捉局部结构而无需依赖固定的邻域顺序。

ABSTRACT

Graph convolutional networks gain remarkable success in semi-supervised learning on graph structured data. The key to graph-based semisupervised learning is capturing the smoothness of labels or features over nodes exerted by graph structure. Previous methods, spectral methods and spatial methods, devote to defining graph convolution as a weighted average over neighboring nodes, and then learn graph convolution kernels to leverage the smoothness to improve the performance of graph-based semi-supervised learning. One open challenge is how to determine appropriate neighborhood that reflects relevant information of smoothness manifested in graph structure. In this paper, we propose GraphHeat, leveraging heat kernel to enhance low-frequency filters and enforce smoothness in the signal variation on the graph. GraphHeat leverages the local structure of target node under heat diffusion to determine its neighboring nodes flexibly, without the constraint of order suffered by previous methods. GraphHeat achieves state-of-the-art results in the task of graph-based semi-supervised classification across three benchmark datasets: Cora, Citeseer and Pubmed.

研究动机与目标

• 解决在半监督学习中定义反映结构平滑性的图卷积邻域的挑战。
• 克服空间方法中固定顺序邻域定义的局限性以及谱方法中高计算成本的问题。
• 通过使用热核强调低频分量并抑制高频噪声，改善标签平滑性。
• 基于热扩散开发一种灵活且结构感知的邻域选择机制，以适应局部拓扑结构。

提出的方法

• 利用热核 $ e^{-s\mathcal{L}} $ 为低频特征向量分配更高权重，从而强调图上平滑的信号变化。
• 使用热扩散确定目标节点的邻近节点，以动态、结构感知的选择替代固定顺序的邻域约束。
• 将热核应用于归一化拉普拉斯矩阵，以定义可学习的卷积操作，从而滤除高频噪声。
• 通过聚焦于热核固有的低通滤波特性来简化半监督学习模型，强调标签平滑性。
• 利用热核的转移概率计算节点亲和度，实现灵活且自适应的邻域范围。
• 引入缩放参数 $ s $ 以控制热扩散的传播范围，从而在局部与扩展邻域影响之间实现权衡。

实验结果

研究问题

• RQ1 如何设计图卷积，以更好地捕捉图结构数据上的标签与特征平滑性？
• RQ2 热扩散能否作为空间图卷积中固定顺序邻域选择的更灵活、更结构感知的替代方案？
• RQ3 与现有 GCN 变体相比，使用热核作为滤波器在半监督节点分类中的泛化能力提升程度如何？
• RQ4 通过热扩散实现的动态邻域选择在具有不同拓扑结构的多样化图数据集上对性能的影响如何？
• RQ5 缩放参数 $ s $ 对模型在保持局部细节与全局平滑性之间平衡能力的影响是什么？

主要发现

• GraphHeat 在 Cora、Citeseer 和 PubMed 数据集上实现了半监督节点分类的最先进性能。
• 该模型在所有三个基准数据集上均持续优于 GCN 和其他基线方法，展现出更优的泛化能力。
• 增加热扩散参数 $ s $ 初期可提升准确率，因能捕获更多相关信息，但过大的值会导致性能下降，因引入了无关节点。
• 该方法可按节点动态调整邻域范围，部分节点会纳入二阶邻居甚至在相关时包含远距离节点，如案例研究所示。
• 在某些情况下，热扩散使二阶邻居的权重高于一阶邻居，例如 $[e^{-sL}]_{a,c} > [e^{-sL}]_{a,b}$，表明实现了自适应邻域选择。
• 消融研究证实，热核的低通滤波特性能有效抑制高频噪声，提升预测的鲁棒性与平滑性。