[论文解读] FMP: Toward Fair Graph Message Passing against Topology Bias

Zhimeng Jiang, Xiaotian Han+5 more|arXiv (Cornell University)|Feb 8, 2022

Advanced Graph Neural Networks被引用 14

一句话总结

本文提出了一种新颖的图消息传递框架——公平消息传递（FMP），通过统一优化公平性与图平滑性，显式缓解图神经网络（GNN）中的表示偏差。FMP利用Fenchel共轭与梯度下降方法，在计算开销极小的前提下学习公平且具有预测能力的节点表示，在真实数据集上的公平性-准确率权衡表现优于当前最先进方法。

ABSTRACT

Despite recent advances in achieving fair representations and predictions through regularization, adversarial debiasing, and contrastive learning in graph neural networks (GNNs), the working mechanism (i.e., message passing) behind GNNs inducing unfairness issue remains unknown. In this work, we theoretically and experimentally demonstrate that representative aggregation in message-passing schemes accumulates bias in node representation due to topology bias induced by graph topology. Thus, a extsf{F}air extsf{M}essage extsf{P}assing (FMP) scheme is proposed to aggregate useful information from neighbors but minimize the effect of topology bias in a unified framework considering graph smoothness and fairness objectives. The proposed FMP is effective, transparent, and compatible with back-propagation training. An acceleration approach on gradient calculation is also adopted to improve algorithm efficiency. Experiments on node classification tasks demonstrate that the proposed FMP outperforms the state-of-the-art baselines in effectively and efficiently mitigating bias on three real-world datasets.

研究动机与目标

• 探究图神经网络中的消息传递如何因拓扑偏差而放大表示偏差，特别是在敏感属性同质性较高的图中。
• 开发一种透明、高效且兼容反向传播的算法，从消息传递层面缓解偏差，而非依赖事后正则化或对抗训练。
• 在单一优化框架中统一公平性与图平滑性目标，生成公平且具备预测能力的节点表示。
• 利用softmax函数的性质加速所提框架中的梯度计算，提升训练效率。

提出的方法

• 采用拉格朗日对偶方法，构建联合优化问题，平衡公平性（最小化人口均等差异）与预测性能（图平滑性）。
• 应用Fenchel共轭将对偶问题转化为适合基于梯度优化的原始形式。
• 在消息传递聚合过程中引入敏感属性信息，以对抗拓扑偏差。
• 推导概率空间中扰动向量的梯度更新规则，实现对公平性的控制，同时不损害预测性能。
• 利用softmax函数的可微性与稳定性，加速对原始变量的梯度计算。
• 通过设计可微且端到端可训练的消息传递机制，确保与标准反向传播的兼容性。

实验结果

研究问题

• RQ1 图结构中的拓扑偏差如何在标准GNN消息传递中放大表示偏差？
• RQ2 是否可以通过重构消息传递机制，同时保持预测性能并增强公平性，以对抗拓扑偏差？
• RQ3 在拓扑偏差下，图平滑性、公平性与节点表示优化之间存在何种理论关系？
• RQ4 如何在不牺牲准确率或公平性的前提下，加速公平感知消息传递框架中的梯度计算？

主要发现

• FMP在Pokec-n、Pokec-z和NBA三个真实数据集上均显著降低了人口均等差异（DP），在公平性缓解方面优于当前最先进基线方法。
• 在Pokec-n数据集上，FMP的DP差异比最佳基线低32.7%，同时保持相当或更优的准确率。
• 所提出的加速方法相比最慢基线（APPNP）将梯度计算开销降低了高达64.07%，使FMP在大规模图上仍具高效性。
• 超参数分析表明，平滑性超参数对准确率与偏差有显著影响，而最优公平性超参数可实现公平性与性能的最佳权衡。
• FMP在公平性与效率方面均优于正则化与对抗去偏方法，在Pokec-z上的时间开销仅比原始GCN高出15.03%。
• 实证结果证实，更高的敏感属性同质性（如Pokec-n中达95.30%）与更大的偏差放大效应相关，验证了本文的理论分析。