[论文解读] Dirichlet Energy Enhancement of Graph Neural Networks by Framelet Augmentation

Jialin Chen, Yuelin Wang+4 more|arXiv (Cornell University)|Nov 9, 2023

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出能量增强卷积（EEConv），一种新颖的图神经网络层，通过利用帧变换增强狄利克雷能量并缓解深层GNN中的过度平滑问题。通过分别对低通和高通分量应用正负增量的帧变换增强，EEConv在各层严格提升狄利克雷能量，使更深的网络架构能够保持性能，尤其在异质性图上表现优异，32层模型达到最先进结果。

ABSTRACT

Graph convolutions have been a pivotal element in learning graph representations. However, recursively aggregating neighboring information with graph convolutions leads to indistinguishable node features in deep layers, which is known as the over-smoothing issue. The performance of graph neural networks decays fast as the number of stacked layers increases, and the Dirichlet energy associated with the graph decreases to zero as well. In this work, we introduce a framelet system into the analysis of Dirichlet energy and take a multi-scale perspective to leverage the Dirichlet energy and alleviate the over-smoothing issue. Specifically, we develop a Framelet Augmentation strategy by adjusting the update rules with positive and negative increments for low-pass and high-passes respectively. Based on that, we design the Energy Enhanced Convolution (EEConv), which is an effective and practical operation that is proved to strictly enhance Dirichlet energy. From a message-passing perspective, EEConv inherits multi-hop aggregation property from the framelet transform and takes into account all hops in the multi-scale representation, which benefits the node classification tasks over heterophilous graphs. Experiments show that deep GNNs with EEConv achieve state-of-the-art performance over various node classification datasets, especially for heterophilous graphs, while also lifting the Dirichlet energy as the network goes deeper.

研究动机与目标

• 为解决深层图神经网络（GNN）中的过度平滑问题，即节点表征因过度特征平滑而变得难以区分。
• 理论上保证消息传递过程中狄利克雷能量的增强，克服残差连接等经验性技术的局限性。
• 通过帧变换系统探索多尺度图表示，以更好地捕捉图信号中的低频与高频分量。
• 设计一种实用且可堆叠的GNN层（EEConv），在深度上保持高狄利克雷能量，提升在异质性图基准上的性能。

提出的方法

• 该方法将图信号分解为一个低通分量和两个高通分量，实现对节点特征的多尺度分析。
• 帧变换增强通过在低通分量中添加正增量、在高通分量中添加负增量来修改邻接矩阵，从而增强狄利克雷能量。
• 证明了在此增强策略下狄利克雷能量严格增加，确保深层网络中的能量稳定性。
• 将帧变换系数重构回原始图规模，并通过非线性激活函数，形成EEConv层。
• EEConv层继承了帧变换的多跳聚合特性，能够捕捉所有跳数范围内的长程依赖关系。
• 该方法可扩展至其他基于拉普拉斯的的消息传递模型，包括流形上的热扩散模型。

实验结果

研究问题

• RQ1 基于帧变换的多尺度表征能否有效增强深层GNN中的狄利克雷能量，从而缓解过度平滑？
• RQ2 所提出的帧变换增强策略是否能在理论上保证消息传递过程中狄利克雷能量的严格增加？
• RQ3 在异质性图设置中，低通与高通分量之间的平衡如何影响节点的可区分性？
• RQ4 随着堆叠层数的增加，EEConv能否维持或提升性能，特别是在标准GCN的深度极限之外？

主要发现

• EE-UFG在32层时于异质性数据集（如Chameleon和Cornell）上达到最先进性能，优于所有基线模型。
• 在EE-UFG中，狄利克雷能量在各层保持高且稳定，而基线模型如EGNN则表现出能量衰减与不稳定性。
• 帧变换增强通过分别对低通与高通分量施加正负增量，成功提升了狄利克雷能量。
• 该模型在深度上表现出优越的性能稳定性和可扩展性，延迟了深层GNN中常见的性能衰减。
• 实验结果证实，高频分量对异质性图至关重要，而EEConv通过多尺度学习有效保留了其贡献。