Skip to main content
QUICK REVIEW

[论文解读] Demystifying Oversmoothing in Attention-Based Graph Neural Networks

Xinyi Wu, Amir Ajorlou|arXiv (Cornell University)|May 25, 2023
Advanced Memory and Neural ComputingEngineering被引用 10
一句话总结

本文证明基于注意力的 GNNs 无法防止过平滑;随着深度增加,节点表示通过非线性时变动力系统及联合谱半径分析指数收敛到一个公共向量。

ABSTRACT

Oversmoothing in Graph Neural Networks (GNNs) refers to the phenomenon where increasing network depth leads to homogeneous node representations. While previous work has established that Graph Convolutional Networks (GCNs) exponentially lose expressive power, it remains controversial whether the graph attention mechanism can mitigate oversmoothing. In this work, we provide a definitive answer to this question through a rigorous mathematical analysis, by viewing attention-based GNNs as nonlinear time-varying dynamical systems and incorporating tools and techniques from the theory of products of inhomogeneous matrices and the joint spectral radius. We establish that, contrary to popular belief, the graph attention mechanism cannot prevent oversmoothing and loses expressive power exponentially. The proposed framework extends the existing results on oversmoothing for symmetric GCNs to a significantly broader class of GNN models, including random walk GCNs, Graph Attention Networks (GATs) and (graph) transformers. In particular, our analysis accounts for asymmetric, state-dependent and time-varying aggregation operators and a wide range of common nonlinear activation functions, such as ReLU, LeakyReLU, GELU and SiLU.

研究动机与目标

  • 在深层基于注意力的 GNNs 中动机化并形式化过平滑问题。
  • 验证注意力机制是否相较对称的 GCNs 能防止过平滑。
  • 建立一个非线性时变动力系统框架以分析多层注意力。
  • 利用联合谱半径理论建立对同一表示的指数收敛。

提出的方法

  • 将基于注意力的 GNNs 模型为带有逐层更新 X^{(t+1)} = σ(P^{(t)} X^{(t)} W^{(t)}) 的非线性时变动力系统。
  • 将 P^{(t)} 视为状态相关的聚合算子,并使用非齐次矩阵的乘积和联合谱半径来分析长期行为。
  • 引入一个节点相似性度量 μ(X) 来量化过平滑,并在一般条件下证明其指数衰减。
  • 证明在定义集合中的无限矩阵乘积的遍历性,以建立收敛到秩为一、行相同的结构。
  • 利用投影 B 将注意力动力学与一个降维的 (N-1) 维系统连接起来,并使用希尔伯特投影度量进行分析。
  • 给出在线性和非线性激活函数(ReLU、LeakyReLU、GELU、SiLU)下指数收敛成立的条件。

实验结果

研究问题

  • RQ1基于注意力的 GNNs(包括 GATs 和图变换器)在深度增加时是否从根本上缓解过平滑?
  • RQ2是否可用一般的非线性、时变动力系统框架来解释在不对称、状态相关聚合下观察到的行为?
  • RQ3基于注意力的 GNNs 的过平滑速率是多少,与对称 GCNs 相比如何?
  • RQ4在何种激活函数下保真指数收敛的保证成立?
  • RQ5联合谱半径如何表征多层注意力架构中的长期收敛性?

主要发现

  • 随着深度增加,基于注意力的 GNNs 的过平滑呈指数级发生,因此对该问题给出否定的答案。
  • 注意力机制在本质上不能改变跨层聚合算子的连通性结构。
  • 通过联合谱半径分析可在线性及某些非线性激活下确立指数收敛速率。
  • GATs 在相同深度下可能比 GCNs 拥有更慢的过平滑现象,提示潜在的有限深度优势。
  • 结果在包括 ReLU、LeakyReLU、GELU、SiLU 在内的广泛激活函数以及非对称、状态相关聚合条件下成立。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。