[论文解读] MONET: Debiasing Graph Embeddings via the Metadata-Orthogonal Training Unit

John Palowitch, Bryan Perozzi|arXiv (Cornell University)|Sep 25, 2019

Advanced Graph Neural Networks参考文献 32被引用 8

一句话总结

MONET 引入了一种神经网络模块，通过在图拓扑嵌入与节点元数据嵌入之间强制正交训练，确保可证明的线性去偏。在真实世界图中屏蔽敏感元数据方面，其性能优于对抗性方法和基于 NLP 的去偏方法，实现了对洗票攻击偏见的完全抑制，同时保持了较高的嵌入性能。

ABSTRACT

Are Graph Neural Networks (GNNs) fair? In many real world graphs, the formation of edges is related to certain node attributes (e.g. gender, community, reputation). In this case, standard GNNs using these edges will be biased by this information, as it is encoded in the structure of the adjacency matrix itself. In this paper, we show that when metadata is correlated with the formation of node neighborhoods, unsupervised node embedding dimensions learn this metadata. This bias implies an inability to control for important covariates in real-world applications, such as recommendation systems. To solve these issues, we introduce the Metadata-Orthogonal Node Embedding Training (MONET) unit, a general model for debiasing embeddings of nodes in a graph. MONET achieves this by ensuring that the node embeddings are trained on a hyperplane orthogonal to that of the node metadata. This effectively organizes unstructured embedding dimensions into an interpretable topology-only, metadata-only division with no linear interactions. We illustrate the effectiveness of MONET though our experiments on a variety of real world graphs, which shows that our method can learn and remove the effect of arbitrary covariates in tasks such as preventing the leakage of political party affiliation in a blog network, and thwarting the gaming of embedding-based recommendation systems.

研究动机与目标

• 解决图神经网络（GNNs）中由于节点边结构与性别、社区或声誉等敏感元数据之间的结构相关性而引起的隐式偏见问题。
• 开发一种方法，对图嵌入与敏感元数据之间偏见的减少提供精确的理论保证，克服现有方法的局限性。
• 在嵌入空间中实现元数据与拓扑信息的可解释性分离，允许选择性地去除偏见，同时保留有用的结构信息。
• 证明仅通过划分嵌入空间来隔离元数据信息不足以实现去偏，正交训练是实现有效偏见控制的必要条件。

提出的方法

• MONET 引入了一种新颖的 GNN 架构组件，通过在正交超平面上训练拓扑嵌入与元数据嵌入，确保线性去相关性。
• 该方法使用元数据编码器将敏感节点特征嵌入到独立子空间中，随后将其正交投影到拓扑嵌入空间。
• 它对元数据嵌入矩阵应用奇异值分解（SVD），提取低秩表示，然后将其投影为与拓扑嵌入正交。
• 训练目标包含一个正则化项，强制元数据与拓扑嵌入子空间之间的正交性，其中超参数 λ 控制该约束的强度。
• 该方法与现有的图嵌入框架（如 GloVe 和 DeepWalk）兼容，支持即插即用式集成，无需架构重构。
• 通过调整正交性约束 λ，MONET 实现了去偏与模型性能之间的可控权衡。

实验结果

研究问题

• RQ1 能否设计一种训练时的线性去偏方法，对图嵌入与敏感元数据之间的相关性提供精确的理论保证？
• RQ2 仅通过划分嵌入空间以隔离元数据信息是否足以实现去偏，还是必须依赖正交训练？
• RQ3 在去偏抑制与下游性能方面，MONET 与对抗性方法和基于 NLP 的去偏方法相比表现如何？
• RQ4 正交性约束在多大程度上影响了底层拓扑嵌入的质量？
• RQ5 MONET 能否通过消除嵌入中的元数据泄露，有效防止推荐系统中的洗票攻击？

主要发现

• 在真实世界物品检索实验中，MONET 完全防止了洗票攻击偏见，目标物品的前 20 个最近邻中未出现任何被攻击的项目。
• MONET 在平均倒数排名（MRR）上比随机基线至少提升 8.5 倍，且性能与 DeepWalk 相当，而其他方法在前 20 列表中仍残留约 7.5 个被攻击项目。
• MONET 嵌入距离与 GloVe 拓扑嵌入之间的皮尔逊相关系数为 0.758，表明对底层图信号的破坏极小。
• MONET 的运行时间仅比 GloVe 略高（442 秒 vs. 357 秒），表明元数据和 SVD 操作带来的计算开销可忽略不计。
• 放松正交性约束（λ）会降低去偏性能，但可提高嵌入质量，证实了去偏减少与模型准确率之间存在可控权衡。
• 在博客网络中，MONET 在掩盖政党隶属关系方面优于对抗性与基于 NLP 的基线方法，且在下游任务中未造成显著性能下降。