[论文解读] Dirichlet Energy Constrained Learning for Deep Graph Neural Networks

Kaixiong Zhou, Xiao Huang+5 more|arXiv (Cornell University)|Jul 6, 2021

Advanced Graph Neural Networks参考文献 51被引用 39

一句话总结

本文通过对每一层的Dirichlet 能量进行调控，引入 Dirichlet 能量约束学习以使深 GNNs 可行，并提出具有正交权重控制、下界残差和 Shifted ReLU 的 Energetic Graph Neural Networks（EGNN），在非常深的图上实现了与最先进结果相当的性能。

ABSTRACT

Graph neural networks (GNNs) integrate deep architectures and topological structure modeling in an effective way. However, the performance of existing GNNs would decrease significantly when they stack many layers, because of the over-smoothing issue. Node embeddings tend to converge to similar vectors when GNNs keep recursively aggregating the representations of neighbors. To enable deep GNNs, several methods have been explored recently. But they are developed from either techniques in convolutional neural networks or heuristic strategies. There is no generalizable and theoretical principle to guide the design of deep GNNs. To this end, we analyze the bottleneck of deep GNNs by leveraging the Dirichlet energy of node embeddings, and propose a generalizable principle to guide the training of deep GNNs. Based on it, a novel deep GNN framework -- EGNN is designed. It could provide lower and upper constraints in terms of Dirichlet energy at each layer to avoid over-smoothing. Experimental results demonstrate that EGNN achieves state-of-the-art performance by using deep layers.

研究动机与目标

• 以 Dirichlet 能量约束为指导，激发并形式化一个可推广的原则，用于设计和训练深度 GNNs。
• 开发一种深度 GNN 架构（EGNN），使之在每层满足 Dirichlet 能量界限，以缓解过平滑和过分分离。
• 证明 Dirichlet 能量约束学习能够解释并统一现有的深度 GNN 技术。
• 通过实证结果表明，EGNN 支持非常深的架构（最高 64 层），在基准数据集上具有有竞争力的性能。

提出的方法

• 为节点嵌入定义 Dirichlet 能量 E(X^(k))，并在各层之间建立下/上界，以避免过平滑与过分分离。
• 提出 Dirichlet 能量约束学习：c_min E(X^(k-1)) <= E(X^(k)) <= c_max E(X^(0))，其中可训练的特征变换 X^(0)=f(X)。
• 设计包含三个组件的 EGNN：（i）权重矩阵的正交初始化与正则化，以控制奇异值并满足上界能量，(ii) 下界残差连接以在每层维持最小能量，以及 (iii) Shifted ReLU（SReLU）激活，以在保持能量界限的同时平衡非线性与线性。
• 给出理论结果（引理和命题），确保正交控制、残差和激活在各层内将能量维持在界限之内。
• 将能量约束设计与现有的归一化、DropEdge 和残差技术进行比较，以展示该原理的普适性。

实验结果

研究问题

• RQ1 是否存在一个理论上且可推广的原则，用于指导深度 GNN 的架构设计与训练？
• RQ2 如何设计一个通过堆叠多层来达到最先进性能的深度 GNN，同时避免过平滑？
• RQ3 一个有原则的能量约束框架是否能够解释并统一现有的深度 GNN 技术？
• RQ4 EGNN 是否能够在基准数据集上实现稳定训练和强性能，且适用于深层架构？

主要发现

• EGNN 在基准数据集上的节点分类性能达到最先进水平或具有竞争力，尤其是在深层（最高 64 层）的设置下。
• 每一层的 Dirichlet 能量保持在学习到的下界和上界之间，验证了约束学习原理。
• 正交权重初始化与正则化对于维持能量界限并实现深层训练至关重要。
• 下界残差连接和 SReLU 激活有助于保持能量，防止过平滑，而不牺牲学习能力。
• 在 Cora、Pubmed、Coauthor-Physics 和 Ogbn-arxiv 上，EGNN 相较若干基线表现更优，尤在深配置中。
• 消融研究显示每个组件（正交初始化、下界残差、SReLU）对于性能和能量稳定性的重要性。