[论文解读] Fairness-aware Message Passing for Graph Neural Networks

Huaisheng Zhu, Guoji Fu+4 more|arXiv (Cornell University)|Jun 19, 2023

Age of Information OptimizationComputer Science被引用 3

一句话总结

本文提出GMMD，一种面向图神经网络的公平性感知消息传递框架，通过鼓励来自不同敏感群体的表示聚合并减去同一群体的表示，提升模型公平性。该方法通过平滑性正则化确保高模型效用，在多个基准测试中实现了最先进的公平性-准确率权衡，其理论验证的变体GMMD-S进一步提升了效率。

ABSTRACT

Graph Neural Networks (GNNs) have shown great power in various domains. However, their predictions may inherit societal biases on sensitive attributes, limiting their adoption in real-world applications. Although many efforts have been taken for fair GNNs, most existing works just adopt widely used fairness techniques in machine learning to graph domains and ignore or don't have a thorough understanding of the message passing mechanism with fairness constraints, which is a distinctive feature of GNNs. To fill the gap, we propose a novel fairness-aware message passing framework GMMD, which is derived from an optimization problem that considers both graph smoothness and representation fairness. GMMD can be intuitively interpreted as encouraging a node to aggregate representations of other nodes from different sensitive groups while subtracting representations of other nodes from the same sensitive group, resulting in fair representations. We also provide a theoretical analysis to justify that GMMD can guarantee fairness, which leads to a simpler and theory-guided variant GMMD-S. Extensive experiments on graph benchmarks show that our proposed framework can significantly improve the fairness of various backbone GNN models while maintaining high accuracy.

研究动机与目标

• 为解决GNN消息传递机制中缺乏公平性感知设计的问题，此类机制常会放大社会偏见。
• 开发一种消息传递框架，显式平衡图平滑性与表示公平性。
• 提供一种理论基础坚实的公平方法，确保公平预测的同时保持高效用。
• 设计一种简化、高效的变体（GMMD-S），以利于实际部署。
• 在多样化图基准上实证验证该框架在公平性-准确率权衡上的优越性。

提出的方法

• 该框架源自一个结合平滑性与公平性正则化的优化问题，公平性通过最大均值差异（MMD）实现。
• GMMD通过加权聚合不同敏感群体节点的表示，并减去同一群体的表示来执行消息传递。
• 该方法可被解释为通过其优化目标最小化群体公平性度量的上界。
• 通过理论分析推导出一种简化变体GMMD-S，以降低复杂度，同时保持公平性保障。
• 该框架兼容任意GNN主干网络，并可无缝集成至现有训练流程中。
• 通过调整超参数α（控制核相似性）和M（MLP深度）来平衡公平性与准确率。

实验结果

研究问题

• RQ1 如何重新设计GNN中的消息传递机制，以显式缓解偏见，同时保持预测效用？
• RQ2 能否通过统一的优化框架在GNN中同时实现图平滑性与表示公平性？
• RQ3 所提出的消息传递机制与群体公平性度量（如群体公平性）之间存在何种理论关系？
• RQ4 与现有公平性技术相比，该方法在公平性-准确率权衡方面表现如何？
• RQ5 该框架的简化变体能否在降低计算成本的同时保持公平性表现？

主要发现

• GMMD在德国、保释和信用三个基准数据集上显著提升了公平性指标，同时保持或提升了准确率。
• 控制公平性正则化的超参数α显示，较高值（0.7、1.0）可带来更好的公平性表现，且不损害准确率。
• MLP层数M的影响呈非单调性：性能在M=2或M=4时达到峰值，更深的网络则导致过拟合，性能下降。
• GMMD-S在训练时间更短的情况下，实现了与GMMD相当的公平性与准确率，证明了其效率优势而不损失公平性。
• GMMD在公平性-准确率权衡上优于最先进的基线方法（如FairGNN、EDITS和FMP），且训练时间与大多数方法相当或更优。
• 案例研究证实，GMMD更关注跨群体边，验证了其减少基于群体的表示偏见机制的有效性。