[论文解读] Beyond Low-frequency Information in Graph Convolutional Networks

Deyu Bo, Xiao Wang+2 more|arXiv (Cornell University)|Jan 4, 2021

Advanced Graph Neural Networks被引用 22

一句话总结

本文提出频率自适应图卷积网络（FAGCN），一种新颖的空间图神经网络，通过自门控机制自适应地整合低频、高频和原始节点特征，以提升节点表征学习效果。FAGCN 在多种真实世界图数据上优于最先进模型，尤其在非同配网络中表现优异，通过频率感知的消息传递机制缓解了过平滑问题并增强了模型适应性。

ABSTRACT

Graph neural networks (GNNs) have been proven to be effective in various network-related tasks. Most existing GNNs usually exploit the low-frequency signals of node features, which gives rise to one fundamental question: is the low-frequency information all we need in the real world applications? In this paper, we first present an experimental investigation assessing the roles of low-frequency and high-frequency signals, where the results clearly show that exploring low-frequency signal only is distant from learning an effective node representation in different scenarios. How can we adaptively learn more information beyond low-frequency information in GNNs? A well-informed answer can help GNNs enhance the adaptability. We tackle this challenge and propose a novel Frequency Adaptation Graph Convolutional Networks (FAGCN) with a self-gating mechanism, which can adaptively integrate different signals in the process of message passing. For a deeper understanding, we theoretically analyze the roles of low-frequency signals and high-frequency signals on learning node representations, which further explains why FAGCN can perform well on different types of networks. Extensive experiments on six real-world networks validate that FAGCN not only alleviates the over-smoothing problem, but also has advantages over the state-of-the-arts.

研究动机与目标

• 探究图神经网络中低频与高频信号的作用，超越传统低通滤波的范畴。
• 解决现有图神经网络仅依赖低频信息所带来的局限性，该局限性在非同配网络中会抑制性能表现。
• 设计一种模型，能够自适应地整合多种频率分量，而无需事先知晓网络的同配性。
• 从理论上证明 FAGCN 的表达能力是现有图神经网络的推广。
• 在包括非同配网络与异构网络在内的多种真实世界图数据集上，验证 FAGCN 的优越性。

提出的方法

• FAGCN 利用图信号处理定义增强的低通与高通滤波器，将原始节点特征分解为低频与高频分量。
• 自门控机制在消息传递过程中，根据学习到的注意力权重，动态结合低频信号、高频信号与原始特征。
• 该模型被设计为现有图神经网络的推广，能够调节节点表征之间的距离，从而避免过平滑。
• 理论分析证明，FAGCN 可自由调节表征相似性，从而在同配与非同配图上均实现更优性能。
• 该方法在空间图神经网络框架中实现，保留了可解释性的同时增强了灵活性。
• FAGCN 采用交叉熵损失进行端到端训练，用于节点分类任务，无需预先假设图结构。

实验结果

研究问题

• RQ1 低频与高频信号在图神经网络中学习有效节点表征时分别扮演什么角色？
• RQ2 为何仅依赖低频信号的现有图神经网络在非同配网络中表现欠佳？
• RQ3 能否设计一种图神经网络模型，自适应地整合多种频率分量，以提升在不同类型网络中的泛化能力？
• RQ4 FAGCN 中的自门控机制相比固定滤波策略，如何实现更优的表征学习？
• RQ5 FAGCN 在多大程度上缓解了深层图神经网络中的过平滑问题？

主要发现

• 在重新定义标签的 Chameleon 和 Squirrel 数据集（Cham-3、Squi-3）上，FAGCN 分别取得 76.1% 和 66.7% 的分类准确率，优于所有基线模型。
• 在原始 Cham-5 和 Squi-5 划分上，FAGCN 仍分别达到 61.7% 和 39.7% 的准确率，显著优于 GCN（59.8% 和 36.9%）与 MLP（46.4% 和 29.7%）。
• 实验表明，在非同配网络中，高频信号比低频信号更具有效性，挑战了低通滤波为最优的假设。
• FAGCN 通过在消息传递过程中动态控制不同频率分量的贡献，缓解了过平滑问题。
• 理论分析确认，FAGCN 普适化了大多数现有图神经网络，并可灵活调节节点表征的相似性。
• FAGCN 在六个真实世界网络中均表现出一致的优越性，涵盖同配与非同配图。