[论文解读] Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Neural Networks

Sitao Luan, Mingde Zhao+3 more|arXiv (Cornell University)|Dec 21, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出了一种双通道滤波器组框架，通过引入高通（多样化）滤波来增强传统图卷积网络（GCNs）的性能，以保留节点身份并提升表征学习能力。通过结合低通（聚合）与高通（多样化）滤波，该方法增强了节点的可区分性，尤其在异配性倾向的图中表现显著，9个节点分类基准任务中的准确率均有提升，平均提升幅度为2.58%至6.32%（相较于单通道基线）。

ABSTRACT

The core operation of current Graph Neural Networks (GNNs) is the aggregation enabled by the graph Laplacian or message passing, which filters the neighborhood information of nodes. Though effective for various tasks, in this paper, we show that they are potentially a problematic factor underlying all GNN models for learning on certain datasets, as they force the node representations similar, making the nodes gradually lose their identity and become indistinguishable. Hence, we augment the aggregation operations with their dual, i.e. diversification operators that make the node more distinct and preserve the identity. Such augmentation replaces the aggregation with a two-channel filtering process that, in theory, is beneficial for enriching the node representations. In practice, the proposed two-channel filters can be easily patched on existing GNN methods with diverse training strategies, including spectral and spatial (message passing) methods. In the experiments, we observe desired characteristics of the models and significant performance boost upon the baselines on 9 node classification tasks.

研究动机与目标

• 为解决当前GNN在依赖低通滤波过度导致节点表征趋于不可区分的问题。
• 探究图信号中高频（非平滑）分量的作用，这些分量在标准GNN中常被忽略。
• 开发一种即插即用的框架，通过低通滤波（用于聚合）与高通滤波（用于多样化）的双滤波机制，增强现有GNN，且无需对网络架构进行大规模修改。
• 通过实证验证，高通滤波在异配性主导的数据集中对表征学习有显著贡献。
• 证明可学习的低通与高通分量系数可在训练过程中动态平衡平滑与非平滑特征。

提出的方法

• 提出一种双通道滤波器组（FB-GNN）框架，通过并行应用低通（LP）与高通（HP）滤波器，以捕捉图信号中的平滑与非平滑分量。
• 利用图拉普拉斯矩阵及其谱分解来定义LP与HP滤波器，其中LP滤波器捕捉局部平滑性，而HP滤波器强调节点间的差异性。
• 提出一种基于狄氏能量与图信号能量的新S值度量，用于量化属性图中输入特征与输出标签的平滑程度。
• 引入可学习系数（αL 与 αH），以动态平衡最终表征中LP与HP滤波器的贡献，实现平滑与非平滑特征的自适应融合。
• 通过简单的架构修改，将双通道机制无缝集成至现有GNN模型（包括GCN与GraphSAINT）中，保持与谱方法及空间（消息传递）方法的兼容性。
• 采用双分支聚合策略：一个分支执行标准的邻域聚合（LP），另一个分支应用高通变换以突出节点间的差异性。

实验结果

研究问题

• RQ1 在GNN中引入高通滤波是否能超越标准低通聚合，在节点表征学习方面带来性能提升？
• RQ2 图信号中的平滑与非平滑分量在现实世界节点分类任务中的贡献如何？
• RQ3 低通与高通滤波的可学习系数在训练过程中，多大程度上能自适应地平衡平滑与非平滑特征？
• RQ4 所提出的双通道框架能否在不进行架构重构的前提下，有效且高效地集成至现有GNN架构中？
• RQ5 该双通道方法的性能增益是否在具有不同同配性与异配性程度的数据集中保持一致？

主要发现

• 与单通道基线相比，所提出的FB-GNN框架在9个节点分类任务中平均性能提升2.58%至6.32%，在Wisconsin与Texas等异配性倾向数据集上提升最大。
• 在Cora数据集中，双通道模型在使用非线性变换时达到87.50%的准确率，优于单通道非线性基线（84.69%），提升2.81个百分点。
• 在深层GCN设置下，FB-GCN在不同深度下均持续优于标准GCN，尤其在Cora数据集深度为16时，准确率提升高达8.04%。
• 消融实验表明，非线性特征提取器与双通道架构均不可或缺，其中HP分量贡献显著——在9项任务中的6项中，学习到的αH > αL。
• 训练过程中学习到的系数αL与αH的可视化显示，HP分量被动态赋予更高的权重，尤其是在需要非平滑输出时，表明其在表征学习中起关键作用。
• S值度量成功量化了现实图中平滑与非平滑分量的混合程度，证实两类信号对有效表征学习均不可或缺。