[论文解读] Characterizing Graph Datasets for Node Classification: Homophily-Heterophily Dichotomy and Beyond

Oleg Platonov, Denis Kuznedelev+2 more|arXiv (Cornell University)|Sep 13, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出调整后的同质性（adjusted homophily）和标签信息量（label informativeness, LI）作为表征节点分类图数据集的改进度量指标。研究指出，常用同质性度量因基线不一致而存在缺陷，而调整后的同质性满足理想的理论性质。LI 量化了邻居标签对节点标签的预测能力，相较于同质性，在异质图中更能准确预测图神经网络（GNN）的性能，从而解释了为何GNN有时在高度异质的图数据集上仍能表现良好。

ABSTRACT

Homophily is a graph property describing the tendency of edges to connect similar nodes; the opposite is called heterophily. It is often believed that heterophilous graphs are challenging for standard message-passing graph neural networks (GNNs), and much effort has been put into developing efficient methods for this setting. However, there is no universally agreed-upon measure of homophily in the literature. In this work, we show that commonly used homophily measures have critical drawbacks preventing the comparison of homophily levels across different datasets. For this, we formalize desirable properties for a proper homophily measure and verify which measures satisfy which properties. In particular, we show that a measure that we call adjusted homophily satisfies more desirable properties than other popular homophily measures while being rarely used in graph machine learning literature. Then, we go beyond the homophily-heterophily dichotomy and propose a new characteristic that allows one to further distinguish different sorts of heterophily. The proposed label informativeness (LI) characterizes how much information a neighbor's label provides about a node's label. We prove that this measure satisfies important desirable properties. We also observe empirically that LI better agrees with GNN performance compared to homophily measures, which confirms that it is a useful characteristic of the graph structure.

研究动机与目标

• 识别常用同质性度量中的关键缺陷，这些缺陷导致在不同图数据集之间无法进行可靠的比较。
• 形式化对稳健同质性度量而言理想的性质，特别是恒定基线性质。
• 提出调整后的同质性作为现有同质性度量的理论更可靠的替代方案。
• 引入标签信息量（LI）作为新度量，以区分同质性-异质性二元对立之外的多种异质性类型。
• 通过实证验证，LI在多种数据集上与GNN性能的相关性显著高于同质性度量。

提出的方法

• 形式化一组理想的同质性度量性质，包括恒定基线性质，以确保在不同数据集之间比较的公平性与可比性。
• 将调整后的同质性（亦称聚类系数）定义为一种满足更多此类性质的度量，优于标准同质性度量。
• 提出标签信息量（LI）作为新度量，用于量化邻居标签对节点标签的预测能力。
• 结合理论分析与实证评估，证明LI满足恒定基线性质，并可在不同数据集之间进行可比性比较。
• 在合成数据集（SBM、LFR）与真实世界数据集（Cora、Citeseer等）上，使用GCN、GraphSAGE、GAT、GT等GNN模型评估LI与同质性度量。
• 计算GNN性能（ROC AUC）与各度量之间的Spearman等级相关系数，以评估其预测能力。

实验结果

研究问题

• RQ1 为何常用同质性度量无法实现对不同图数据集之间同质性水平的可靠比较？
• RQ2 哪种同质性度量满足最多的理想理论性质，特别是恒定基线性质？
• RQ3 能否提出一种超越同质性-异质性二元对立的新度量，以更好地解释GNN在异质图上的性能表现？
• RQ4 在多种数据集上，标签信息量（LI）与同质性度量相比，在预测GNN性能方面表现如何？
• RQ5 为何GNN有时在高度异质的图上仍能取得优异性能？LI能否解释这一现象？

主要发现

• 常用同质性度量（如边同质性与节点同质性）不满足恒定基线性质，导致跨数据集比较不可靠。
• 调整后的同质性相比其他同质性度量满足更多理想理论性质，推荐作为同质性测量的更优替代方案。
• 标签信息量（LI）是一种新度量，用于量化邻居标签对预测节点标签的有用性，且满足恒定基线性质。
• 在合成LFR基准实验中，LI与GraphSAGE性能的Spearman相关系数达0.99，显著优于同质性度量（如h_adj为0.68）。
• 在真实世界数据集中，LI与GNN性能的相关系数最高（GAT为0.85，GraphSAGE为0.82），优于所有同质性度量。
• 先前研究观察到的GNN性能与边同质性之间的U型关系，可通过LI解释：LI同样呈现U型曲线，表明当邻居标签具有信息量时，无论同质性水平高低，GNN性能均表现优异。