[论文解读] Fair Node Representation Learning via Adaptive Data Augmentation

O. Deniz Kose, Yanning Shen|arXiv (Cornell University)|Jan 21, 2022

Advanced Graph Neural Networks被引用 14

一句话总结

本文提出了一种自适应数据增强方法，用于图神经网络中公平的节点表征学习，解决了来自节点特征和图结构的偏差问题。通过根据敏感属性动态掩码特征，并基于此采样节点或增删边，该方法在保持与最先进对比学习方法相当性能的同时，减少了公平性违规（统计独立性和机会均等性）。

ABSTRACT

Node representation learning has demonstrated its efficacy for various applications on graphs, which leads to increasing attention towards the area. However, fairness is a largely under-explored territory within the field, which may lead to biased results towards underrepresented groups in ensuing tasks. To this end, this work theoretically explains the sources of bias in node representations obtained via Graph Neural Networks (GNNs). Our analysis reveals that both nodal features and graph structure lead to bias in the obtained representations. Building upon the analysis, fairness-aware data augmentation frameworks on nodal features and graph structure are developed to reduce the intrinsic bias. Our analysis and proposed schemes can be readily employed to enhance the fairness of various GNN-based learning mechanisms. Extensive experiments on node classification and link prediction are carried out over real networks in the context of graph contrastive learning. Comparison with multiple benchmarks demonstrates that the proposed augmentation strategies can improve fairness in terms of statistical parity and equal opportunity, while providing comparable utility to state-of-the-art contrastive methods.

研究动机与目标

• 识别并分析通过图神经网络学习到的节点表征中偏差的来源，特别是来自节点特征和图结构的偏差。
• 开发感知公平性的数据增强策略，自适应地修改节点特征和图拓扑，以减轻内在偏差。
• 确保所提方法在计算上高效，并与各种图神经网络学习框架（包括对比学习）兼容。
• 从理论上证明特征掩码和节点采样增强方案在减少偏差分量方面的有效性。
• 在真实世界图网络上实证验证该方法，展示在节点分类和链接预测任务中，公平性度量得到改善，同时保持表征效用。

提出的方法

• 该方法引入自适应特征掩码，根据敏感属性选择性地掩码节点特征，以减少偏差传播。
• 提出自适应节点采样，从敏感组和非敏感组中采样节点，以平衡表征学习。
• 设计边增删策略，以均衡敏感组与非敏感组的邻域度，最小化结构偏差。
• 通过理论分析识别偏差分量 γ₁ 和 γ₂，分别代表特征偏差和结构偏差。
• 以最小化 γ₁ 和 γ₂ 的方式应用增强，最优方案经分析验证设计合理性。
• 该方法与对比学习兼容，可集成到图神经网络流水线中的其他公平性增强技术。

实验结果

研究问题

• RQ1 通过图神经网络学习到的节点表征中，偏差的主要来源是什么？它们如何分别源自节点特征和图结构？
• RQ2 如何自适应地设计数据增强，以减少节点表征中的偏差，同时不损害模型效用？
• RQ3 自适应特征掩码和节点采样在多大程度上能减少统计独立性和机会均等性等公平性违规？
• RQ4 所提出的增强方案是否能在多样化的现实世界图网络中实现理论上的合理性与实证验证？
• RQ5 在公平性和性能方面，所提出的自适应增强策略与最先进对比学习方法相比如何？

主要发现

• 所提出的自适应数据增强在最优情况下将 γ₁（特征偏差）减少至 0.00，γ₂（结构偏差）减少至 0.00，展现出坚实的理论基础。
• 在 Pokec 网络中，通过节点采样将 γ₁ 从 0.66 减少至 0.00，通过边删除将 γ₂ 从 0.90 减少至 0.00，显示出显著的偏差缓解效果。
• 该方法在统计独立性和机会均等方面提升了公平性，优于基线对比学习方法的公平性度量。
• 尽管减少了偏差，该方法在节点分类和链接预测任务中仍保持与最先进对比学习模型相当的性能。
• 在某些情况下，边增加使 γ₁ 上升至 0.73，表明增强步骤之间存在干扰，凸显了顺序设计的重要性。
• 与非自适应方法相比，该方法的额外计算开销较低，适用于大规模图的实用场景。