[论文解读] FairGen: Towards Fair Graph Generation

Lecheng Zheng, Dawei Zhou+4 more|arXiv (Cornell University)|Mar 30, 2023

Ethics and Social Impacts of AI被引用 4

一句话总结

FairGen 是一种公平感知的图生成模型，通过整合标签信息和用户定义的对称性约束，减轻合成图中的表征差异。通过利用自步学习逐步从简单到复杂的模式进行训练，它生成高质量的图，减少对受保护群体的偏见，从而在数据增强下将下游任务性能提升高达17%。

ABSTRACT

There have been tremendous efforts over the past decades dedicated to the generation of realistic graphs in a variety of domains, ranging from social networks to computer networks, from gene regulatory networks to online transaction networks. Despite the remarkable success, the vast majority of these works are unsupervised in nature and are typically trained to minimize the expected graph reconstruction loss, which would result in the representation disparity issue in the generated graphs, i.e., the protected groups (often minorities) contribute less to the objective and thus suffer from systematically higher errors. In this paper, we aim to tailor graph generation to downstream mining tasks by leveraging label information and user-preferred parity constraints. In particular, we start from the investigation of representation disparity in the context of graph generative models. To mitigate the disparity, we propose a fairness-aware graph generative model named FairGen. Our model jointly trains a label-informed graph generation module and a fair representation learning module by progressively learning the behaviors of the protected and unprotected groups, from the `easy' concepts to the `hard' ones. In addition, we propose a generic context sampling strategy for graph generative models, which is proven to be capable of fairly capturing the contextual information of each group with a high probability. Experimental results on seven real-world data sets, including web-based graphs, demonstrate that FairGen (1) obtains performance on par with state-of-the-art graph generative models across nine network properties, (2) mitigates the representation disparity issues in the generated graphs, and (3) substantially boosts the model performance by up to 17% in downstream tasks via data augmentation.

研究动机与目标

• 解决图生成模型中的表征差异问题，即由于无监督训练目标，受保护群体（少数群体）系统性地被低估。
• 通过整合标签信息和用户偏好的公平性约束，使图生成更贴合下游挖掘任务。
• 通过确保受保护群体和非受保护群体在表征学习中实现公平，减轻合成图中的偏见。
• 开发一种通用的上下文采样策略，以高概率公平捕获群体特定的上下文信息。
• 证明公平感知的生成方法可通过数据增强提升下游模型性能。

提出的方法

• FairGen 采用自步学习范式，先对简单（稳定）模式进行训练，再逐步过渡到复杂模式，从而更好地捕捉受保护群体的行为特征。
• 联合优化一个标签感知的图生成模块和一个公平表征学习模块，使合成图与真实世界的结构和标签分布保持一致。
• 提出一种新颖的上下文采样策略，以确保高概率捕获来自受保护群体和非受保护群体的上下文信息。
• 在公平约束下最小化重构损失，确保少数群体和多数群体对训练目标的贡献保持平衡。
• 采用端到端训练，损失函数包含双重目标：一个用于图结构保真度，另一个用于表征学习的公平性。
• 利用 Node2Vec 等模型的节点表征进行可视化和评估，确保各群体间拓扑结构的一致性。

实验结果

研究问题

• RQ1 能否有效将公平约束整合到图生成模型中，以减少表征差异？
• RQ2 自步学习在图生成中如何改善对受低估群体（受保护群体）的建模？
• RQ3 通过数据增强，标签感知的生成能在多大程度上提升下游任务性能？
• RQ4 通用的上下文采样策略能否在合成图中公平地表示受保护群体和非受保护群体？
• RQ5 FairGen 在保持网络属性的同时，与最先进图生成器相比，其公平性表现如何？

主要发现

• FairGen 在七个真实世界数据集的九项网络属性上，性能与最先进图生成模型相当。
• 模型有效缓解了表征差异，t-SNE 可视化显示受保护群体的拓扑结构得到更好保留。
• 通过数据增强，FairGen 可将下游模型性能提升高达17%，证明其在真实应用中的实用性。
• 所提出的上下文采样策略确保了对群体特定上下文信息的高概率捕获，从而增强了表征学习的公平性。
• 与 NetGAN、GAE 和 TagGen 等基线模型相比，FairGen 更好地保留了受保护群体与非受保护群体之间的结构和基于标签的差异。
• 自步学习机制使模型能够逐步学习受保护群体的复杂模式，从而减少生成过程中的系统性偏见。