[论文解读] FairNorm: Fair and Fast Graph Neural Network Training

O. Deniz Kose, Yanning Shen|arXiv (Cornell University)|May 20, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

FairNorm 是一种新颖的归一化框架，通过在每个敏感群体上应用感知公平性的可学习归一化操作，同时提升图神经网络（GNN）的公平性和收敛速度。它在节点分类任务中减少了偏差，实现了最高达 8.45% 的统计均等差异和 0.90% 的相等机会差异，同时相比非归一化基线模型加速了训练。

ABSTRACT

Graph neural networks (GNNs) have been demonstrated to achieve state-of-the-art for a number of graph-based learning tasks, which leads to a rise in their employment in various domains. However, it has been shown that GNNs may inherit and even amplify bias within training data, which leads to unfair results towards certain sensitive groups. Meanwhile, training of GNNs introduces additional challenges, such as slow convergence and possible instability. Faced with these limitations, this work proposes FairNorm, a unified normalization framework that reduces the bias in GNN-based learning while also providing provably faster convergence. Specifically, FairNorm employs fairness-aware normalization operators over different sensitive groups with learnable parameters to reduce the bias in GNNs. The design of FairNorm is built upon analyses that illuminate the sources of bias in graph-based learning. Experiments on node classification over real-world networks demonstrate the efficiency of the proposed scheme in improving fairness in terms of statistical parity and equal opportunity compared to fairness-aware baselines. In addition, it is empirically shown that the proposed framework leads to faster convergence compared to the naive baseline where no normalization is employed.

研究动机与目标

• 解决 GNN 训练中公平性偏差与收敛速度慢的双重挑战。
• 在单一归一化框架内统一公平性与优化改进。
• 分析归一化层如何通过操纵群体间表示分布来缓解偏差。
• 通过实证验证 FairNorm 在公平性指标和收敛速度方面优于感知公平性的基线和非归一化基线的优越性。
• 设计基于 GNN 中偏差来源理论洞察的公平性正则化项。

提出的方法

• 提出 FairNorm，一种为每个敏感群体配备可学习参数的归一化层，以减少 GNN 隐层表示中的分布偏差。
• 采用两种感知公平性的正则化项：$\mathcal{L}_{\mu}$ 用于对齐群体均值，$\mathcal{L}_{\Delta}$ 用于最小化群体间方差差异。
• 理论分析证明，与无归一化相比，感知公平性的偏移操作可提升收敛速度。
• 在 GNN 层的聚合之后应用归一化，支持端到端训练，同时获得公平性和优化收益。
• 在实验中使用 ReLU 和 Sigmoid 激活函数，以评估其在不同非线性情况下的鲁棒性。
• 采用统一的训练目标，结合 GNN 损失与公平性正则化项，联合优化性能与公平性。

实验结果

研究问题

• RQ1 归一化层能否被用于同时减少 GNN 中的公平性偏差并加速收敛？
• RQ2 隐层表示中群体间的均值与方差偏移如何影响 GNN 中的公平性？
• RQ3 感知公平性的正则化项对统计均等性和相等机会指标有何影响？
• RQ4 FairNorm 是否在公平性和收敛速度两方面均优于感知公平性的基线模型？
• RQ5 FairNorm 的性能对超参数 $\kappa$ 和 $\tau$ 的敏感性如何？

主要发现

• 在 Pokec-z 上，FairNorm 将统计均等差异降低至 1.35%，优于 M-Norm（5.57%）及其他基线模型；在 Pokec-n 上，FairNorm 达到 1.26%，同样优于 M-Norm（2.48%）。
• 在 Recidivism 网络上，FairNorm 实现了 0.90% 的相等机会差异，显著低于 M-Norm 的 1.71%。
• 与非归一化基线相比，FairNorm 提升了收敛速度，在所有数据集上均观察到更快的训练动态。
• 消融研究证实，结合 $\mathcal{L}_{\mu}$ 和 $\mathcal{L}_{\Delta}$ 可获得最佳公平性表现，其中 $\mathcal{L}_{\mu}$ 是主导因素。
• 敏感性分析表明，$\kappa=0.01$ 和 $\tau=10^{-10}$ 可获得最优公平性结果，而 $\kappa=100$ 导致性能下降。
• FairNorm 在显著改善公平性指标的同时保持了高准确率（如在 Recidivism 上达到 95.11%），展示了性能与公平性之间的良好权衡。