[论文解读] Biased Edge Dropout for Enhancing Fairness in Graph Representation Learning.

Indro Spinelli, Simone Scardapane+2 more|arXiv (Cornell University)|Apr 29, 2021

Advanced Graph Neural Networks参考文献 46被引用 6

一句话总结

本文提出 FairDrop，一种有偏边丢弃方法，通过抵消同质性引起的偏差，缓解图表示学习中的公平性退化问题。通过基于受保护属性差异有策略地丢弃边，FairDrop 在仅造成最小准确率损失的情况下，提升了节点嵌入和链接预测的公平性，优于基准任务上的最先进方法。

ABSTRACT

Graph representation learning has become a ubiquitous component in many scenarios, ranging from social network analysis to energy forecasting in smart grids. In several applications, ensuring the fairness of the node (or graph) representations with respect to some protected attributes is crucial for their correct deployment. Yet, fairness in graph deep learning remains under-explored, with few solutions available. In particular, the tendency of similar nodes to cluster on several real-world graphs (i.e., homophily) can dramatically worsen the fairness of these procedures. In this paper, we propose a biased edge dropout algorithm (FairDrop) to counter-act homophily and improve fairness in graph representation learning. FairDrop can be plugged in easily on many existing algorithms, is efficient, adaptable, and can be combined with other fairness-inducing solutions. After describing the general algorithm, we demonstrate its application on two benchmark tasks, specifically, as a random walk model for producing node embeddings, and to a graph convolutional network for link prediction. We prove that the proposed algorithm can successfully improve the fairness of all models up to a small or negligible drop in accuracy, and compares favourably with existing state-of-the-art solutions. In an ablation study, we demonstrate that our algorithm can flexibly interpolate between biasing towards fairness and an unbiased edge dropout. Furthermore, to better evaluate the gains, we propose a new dyadic group definition to measure the bias of a link prediction task when paired with group-based fairness metrics. In particular, we extend the metric used to measure the bias in the node embeddings to take into account the graph structure.

研究动机与目标

• 解决公平感知图表示学习中的关键空白，特别是在同质性加剧偏差的真实图中。
• 应对基于受保护属性的节点聚类导致图神经网络中表示不公平的挑战。
• 开发一种即插即用、高效且可适应的方法，在不损害模型性能的前提下提升公平性。
• 引入一种新的二元组群体公平性度量，考虑图结构以更好地评估链接预测任务中的偏差。
• 通过可调节的偏差机制，证明该方法在公平性与准确率之间平衡的灵活性。

提出的方法

• 提出 FairDrop，一种有偏边丢弃策略，有选择地移除具有相似受保护属性节点之间的边，以减少由同质性驱动的偏差。
• 将 FairDrop 集成到现有图学习框架中，包括基于随机游走的节点嵌入模型和用于链接预测的图卷积网络。
• 设计一种可微的边丢弃机制，优先丢弃连接来自代表性不足或不利群体节点的边。
• 采用公平感知的采样策略，根据群体层面的公平性度量动态调整边丢弃概率。
• 将标准公平性度量扩展至包含图结构，以支持对链接预测任务中公平性的评估。
• 通过可调超参数控制偏差校正程度，实现无偏与公平性偏差边丢弃之间的灵活插值。

实验结果

研究问题

• RQ1 真实图中的同质性如何对图表示学习中的公平性产生负面影响？
• RQ2 一种简单、即插即用的边丢弃机制是否能有效提升公平性，同时不降低模型准确率？
• RQ3 FairDrop 在不同图学习任务中能在多大程度上平衡公平性与性能？
• RQ4 所提出的二元组群体公平性度量相比标准度量，如何更有效地捕捉链接预测中的偏差？
• RQ5 FairDrop 是否能与现有图学习流水线中的其他公平性增强技术有效结合？

主要发现

• FairDrop 在仅造成轻微或可忽略的准确率损失情况下，成功提升了节点嵌入和链接预测任务中的公平性。
• 该方法在基准图学习任务上优于现有的最先进公平性解决方案。
• 消融研究证实，FairDrop 能够灵活地在以公平性为重点和无偏的边丢弃策略之间插值。
• 所提出的二元组群体公平性度量有效捕捉了链接预测中的结构偏差，相比标准度量提供了更细致的评估。
• FairDrop 与多种图学习架构（包括 GCN 和基于随机游走的模型）兼容，展现出广泛的适用性。
• 该算法在多种真实世界图数据集上保持强大性能，证明了其鲁棒性和适应性。