[论文解读] DFNets: Spectral CNNs for Graphs with Feedback-Looped Filters

Asiri Wijesinghe, Qing Wang|arXiv (Cornell University)|Oct 24, 2019

Advanced Graph Neural Networks参考文献 35被引用 6

一句话总结

本文提出 DFNets，一种使用反馈回路滤波器的图谱卷积神经网络，可提升特征定位精度与收敛性。通过结合前馈与反馈滤波，并采用递归矩阵求逆近似方法，DFNets 实现线性内存与计算复杂度，保证在误差范围内收敛，并在引文与知识图谱基准测试中超越当前最先进模型，Cora 数据集准确率达 86.0%，Pubmed 数据集达 85.2%。

ABSTRACT

We propose a novel spectral convolutional neural network (CNN) model on graph structured data, namely Distributed Feedback-Looped Networks (DFNets). This model is incorporated with a robust class of spectral graph filters, called feedback-looped filters, to provide better localization on vertices, while still attaining fast convergence and linear memory requirements. Theoretically, feedback-looped filters can guarantee convergence w.r.t. a specified error bound, and be applied universally to any graph without knowing its structure. Furthermore, the propagation rule of this model can diversify features from the preceding layers to produce strong gradient flows. We have evaluated our model using two benchmark tasks: semi-supervised document classification on citation networks and semi-supervised entity classification on a knowledge graph. The experimental results show that our model considerably outperforms the state-of-the-art methods in both benchmark tasks over all datasets.

研究动机与目标

• 为解决现有谱图滤波器常存在的定位性差、不稳定或计算成本高的局限性。
• 设计一类新型谱滤波器，确保在指定误差范围内收敛，同时保持在各类图结构上的通用适用性。
• 通过密集层连接与正则化技术，构建具备强梯度流动与鲁棒特征表示能力的深度图神经网络架构。
• 通过缩放归一化与截止频率等技术提升模型稳定性与性能，防止反向传播中的梯度消失/爆炸问题。

提出的方法

• 提出反馈回路滤波器，由前馈部分（类似多项式滤波器的 k-局部化）与反馈部分（用于提升逼近精度）组成。
• 采用有理多项式形式的滤波器，实现比标准多项式滤波器更优的定位性，同时通过递归近似避免矩阵求逆。
• 采用递归方法近似有理滤波器分母中的矩阵求逆，确保时间与内存复杂度随边数线性增长。
• 应用缩放归一化与截止频率技术以稳定训练过程，并防止反向传播中的梯度问题。
• 设计受 DenseNet 启发的逐层密集传播规则，实现特征多样化与跨所有前序层的强梯度流动。
• 引入逐层正则化项以减少过拟合，并抑制虚假特征学习。

实验结果

研究问题

• RQ1 谱图滤波器设计能否在保持计算效率的同时，实现优于多项式滤波器的定位性？
• RQ2 反馈回路滤波器能否在不依赖图结构的前提下，保证在指定误差范围内的收敛性？
• RQ3 有理滤波器中矩阵求逆的递归近似能否维持线性时间与内存复杂度？
• RQ4 结合反馈回路滤波器的密集架构能否提升图学习任务中的梯度流动与模型性能？
• RQ5 缩放归一化与截止频率对训练稳定性与表征质量有何影响？

主要发现

• DFNet 在 Cora 上达到 85.2% 的准确率，显著优于此前最先进模型 GCN（81.5%）与 GAT（83.0%），提升达 3.7 个百分点。
• 在 Pubmed 上，DFNet 准确率达 84.3%，超过 GCN（79.0%）与 GAT（79.0%），展现出跨数据集的一致优越性。
• 采用注意力增强变体（DFNet-ATT）后，Cora 准确率提升至 86.0%，Pubmed 达 85.2%，表明其具备强大的泛化能力与鲁棒性。
• 最优多项式阶数被确定为 p=5 与 q=3，其他组合因不稳定性或收敛性差导致性能下降。
• 消融实验表明，结合缩放归一化与截止频率可获得最佳性能，尤其在 Cora 与 Citeseer 上提升显著。
• t-SNE 可视化显示，DFNet 在二维嵌入空间中生成的聚类比 GCN 与 GAT 更为清晰分离，表明其具备更优的节点表征学习能力。