[论文解读] Is Heterophily A Real Nightmare For Graph Neural Networks To Do Node Classification?

Sitao Luan, Chenqing Hua+6 more|arXiv (Cornell University)|Sep 12, 2021

Advanced Graph Neural Networks参考文献 40被引用 44

一句话总结

本文认为异构性（heterophily）并不总是对 GNN 有害，提出基于相似性的聚合度量和多样化操作，并提出 Adaptive Channel Mixing (ACM) 以同时利用低频和高频图信息，在真实世界的节点分类任务上取得显著提升。

ABSTRACT

Graph Neural Networks (GNNs) extend basic Neural Networks (NNs) by using the graph structures based on the relational inductive bias (homophily assumption). Though GNNs are believed to outperform NNs in real-world tasks, performance advantages of GNNs over graph-agnostic NNs seem not generally satisfactory. Heterophily has been considered as a main cause and numerous works have been put forward to address it. In this paper, we first show that not all cases of heterophily are harmful for GNNs with aggregation operation. Then, we propose new metrics based on a similarity matrix which considers the influence of both graph structure and input features on GNNs. The metrics demonstrate advantages over the commonly used homophily metrics by tests on synthetic graphs. From the metrics and the observations, we find some cases of harmful heterophily can be addressed by diversification operation. With this fact and knowledge of filterbanks, we propose the Adaptive Channel Mixing (ACM) framework to adaptively exploit aggregation, diversification and identity channels in each GNN layer to address harmful heterophily. We validate the ACM-augmented baselines with 10 real-world node classification tasks. They consistently achieve significant performance gain and exceed the state-of-the-art GNNs on most of the tasks without incurring significant computational burden.

研究动机与目标

• 质疑‘异构性总是会损害 GNNs’的笼统假设，并识别聚合在某些情况下仍然有效的情形。
• 开发新的度量，通过一个相似性矩阵捕捉图结构与节点特征如何影响 GNN 输出。
• 证明多样化（高通）通道可以在聚合的配合下帮助解决有害的异构性。
• 提出并验证 Adaptive Channel Mixing (ACM) 框架，以对每个节点自适应地组合 LP、HP 与 Identity 通道。
• 在 10 个真实世界的节点分类任务上展示 ACM 增强基线的经验提升。

提出的方法

• 构造一个基于反向传播的相似性矩阵 S(Â,X) = (ÂX)(ÂX)ᵀ，用于衡量聚合如何与节点特征交互。
• 定义聚合相似性度量 Sagg 及其修正版 Sagg^M，以量化应用 Â 之后聚合在多大程度上保留类别一致性。
• 引入 Hagg 与 Hagg^M，作为聚合聚焦的同质性度量，将聚合算子的影响包含在内。
• 证明在合成图上，Hagg^M 比传统的边同质性/节点同质性/类别同质性等指标更能预测 GNN 的性能。
• 开发 Diversification Distinguishability DD，以识别可以从高通（多样化）滤波中受益的节点。
• 提出一个 2 通道/3 通道滤波器组的解释，其中 LP 对应聚合，HP 对应多样化，Identity 为直接路径，组合时可实现完美重建。
• 提出 Adaptive Channel Mixing (ACM/ACMII) 以学习每个节点的通道权重，并在每个 GNN 层中组合 LP、HP 与 Identity 通道。
• 提供复杂度估计，显示 ACM 大约将运行时间翻倍，并在真实数据上给出详细的消融研究与对比。
• 在 10 个真实世界的节点分类数据集上验证 ACM 增强模型，显示对基线的持续提升。

实验结果

研究问题

• RQ1 在异质性下，何时图聚合会伤害或帮助节点可辨识性？
• RQ2 基于相似性的聚合度量是否能比传统的同质性度量更好地预测 GNN 性能？
• RQ3 多大程度的多样化（高通滤波）在实际中能解决有害的异质性？
• RQ4 一种同时利用聚合、分化与身份通道的自适应通道混合策略，是否能在异质图上提升节点分类性能？

主要发现

• 基于聚合的 GNNs 并非在异质性下就普遍受损；某些异质图在聚合后仍然可区分。
• 一种基于相似性的聚合度量（Sagg 与 Hagg）同时考虑图结构和节点特征，其解释 GNN 性能的能力优于传统的同质性度量，在合成数据上。
• 多样化（高通）通过利用邻域差异，可以解决某些有害的异质性情形，支持对图信号的滤波器组视角。
• Adaptive Channel Mixing (ACM/ACMII) 框架能够有效地将 LP、HP 和 Identity 通道与基于节点的权重结合起来，在 10 个真实世界数据集上带来显著提升。
• ACM 增强基线在大多数任务上持续优于最先进的 GNN，在没有过度计算负担的情况下，尽管每个 epoch 的时间大约是基线的两倍。
• 消融研究证实 HP 与 Identity 通道以及自适应混合机制在多个数据集上的贡献。