[论文解读] Higher-order Weighted Graph Convolutional Networks

Songtao Liu, Lingwei Chen+4 more|arXiv (Cornell University)|Nov 11, 2019

Advanced Graph Neural Networks参考文献 35被引用 13

一句话总结

该论文提出了一种新型图卷积网络变体——高阶加权图卷积网络（HWGCN），通过基于Lasso的特征损失最小化方法，学习一阶及更高阶邻居的自适应加权聚合。结合节点特征与图结构，HWGCN提升了节点表征学习能力，并在引文网络基准测试中实现了最先进性能，优于GCN、GAT和MixHop在Cora、Citeseer和Pubmed上的表现。

ABSTRACT

Graph Convolution Network (GCN) has been recognized as one of the most effective graph models for semi-supervised learning, but it extracts merely the first-order or few-order neighborhood information through information propagation, which suffers performance drop-off for deeper structure. Existing approaches that deal with the higher-order neighbors tend to take advantage of adjacency matrix power. In this paper, we assume a seemly trivial condition that the higher-order neighborhood information may be similar to that of the first-order neighbors. Accordingly, we present an unsupervised approach to describe such similarities and learn the weight matrices of higher-order neighbors automatically through Lasso that minimizes the feature loss between the first-order and higher-order neighbors, based on which we formulate the new convolutional filter for GCN to learn the better node representations. Our model, called higher-order weighted GCN(HWGCN), has achieved the state-of-the-art results on a number of node classification tasks over Cora, Citeseer and Pubmed datasets.

研究动机与目标

• 解决深层GCN因感受野有限以及高阶邻居间信息重叠导致的性能下降问题。
• 克服现有方法仅依赖邻接矩阵幂次进行高阶邻居聚合的局限性。
• 提出一种无监督、基于特征感知的机制，根据与一阶邻居的相似性识别并加权相关高阶邻居。
• 通过最小化一阶与高阶邻域之间的特征重建损失，改进节点表征学习。
• 在不进行架构大幅调整的前提下，实现在标准引文网络节点分类基准上的最先进性能。

提出的方法

• 提出一种新型图卷积滤波器，通过可学习权重矩阵结合一阶与高阶邻域信息。
• 引入基于Lasso的优化目标，最小化一阶邻居与高阶邻居之间的特征损失，以促进稀疏性与相关性。
• 联合利用节点特征与图结构，指导权重矩阵的学习，确保高阶信息的正交且有意义的聚合。
• 通过求解凸优化问题构建高阶邻域表征，基于特征相似性选择信息丰富的邻居。
• 将学习到的加权高阶卷积整合进标准GCN框架，保留原始架构的同时增强表达能力。
• 应用对称归一化与ReLU激活函数，与原始GCN保持一致，确保训练的兼容性与稳定性。

实验结果

研究问题

• RQ1 是否可以在不依赖邻接矩阵幂次的前提下，有效且高效地聚合GCN中的高阶邻域信息？
• RQ2 如何利用节点特征改进图卷积中高阶邻居的选择与加权？
• RQ3 最小化一阶与高阶邻域之间特征损失是否能带来更好的节点表征学习？
• RQ4 基于Lasso的无监督邻居加权方法是否能提升GCN的泛化能力并减少过拟合？
• RQ5 所提出的HWGCN模型是否在标准引文网络基准上达到最先进性能？

主要发现

• 在Cora数据集上，HWGCN达到82.9%的准确率，超过GCN（81.5%）和GAT（83.0%），与最佳性能模型持平。
• 在Citeseer数据集上，HWGCN达到71.7%的准确率，略高于GCN（70.3%）和GAT（72.5%），表现出一致的性能提升。
• 在Pubmed数据集上，HWGCN达到80.5%的准确率，超过GCN（79.0%），与MixHop（80.8%）持平，显示出在不同数据集上的强泛化能力。
• 基于Lasso的邻居加权机制有效减少了过拟合，表现为在多次运行和固定划分下性能稳定。
• 该模型在不同数据集上均表现稳健，表明基于特征感知的高阶邻居加权聚合具有良好的泛化能力。
• HWGCN为现有GCN模型提供了一种通用、即插即用的性能增强方法，无需修改架构即可提升性能。