[论文解读] Compositional Fairness Constraints for Graph Embeddings
一项对抗性、组合式框架在图嵌入中强制公平不变性，允许在推理时灵活组合敏感属性并对未见属性集进行泛化。
Learning high-quality node embeddings is a key building block for machine learning models that operate on graph data, such as social networks and recommender systems. However, existing graph embedding techniques are unable to cope with fairness constraints, e.g., ensuring that the learned representations do not correlate with certain attributes, such as age or gender. Here, we introduce an adversarial framework to enforce fairness constraints on graph embeddings. Our approach is compositional---meaning that it can flexibly accommodate different combinations of fairness constraints during inference. For instance, in the context of social recommendations, our framework would allow one user to request that their recommendations are invariant to both their age and gender, while also allowing another user to request invariance to just their age. Experiments on standard knowledge graph and recommender system benchmarks highlight the utility of our proposed framework.
研究动机与目标
- 为图嵌入相对于敏感属性建立并形式化表征不变性的动机与概念。
- 开发一个组合编码器，在推理阶段能够对任意子集的敏感属性生成不变的嵌入。
- 引入对抗性过滤器以去除属性信息，从而实现灵活的、推理时的组合公平约束。
- 在知识图谱与推荐基准上展示该方法，突出不变性与任务性能之间的权衡。
提出的方法
- 定义一个组合式编码器 c-enc，它对所选敏感属性集合 S 的过滤嵌入进行平均（Equation 6）。
- 学习每个属性的过滤器 f_k，从节点嵌入中移除关于第 k 个敏感属性的信息。
- 训练对抗判别器 D_k，以从嵌入中预测第 k 个属性，形成对抗损失（Equation 7）。
- 使用随机伯努利掩蔽方案在训练期间抽样随机属性子集 S，促进对未见组合的泛化。
- 优化联合目标，将边缘预测损失与对抗正则化结合起来，在 c-enc 与判别器之间交替更新。
- 提供理论直觉，即在具有足够容量和正则化权重时，嵌入与敏感属性之间的互信息可被驱动接近于零。
实验结果
研究问题
- RQ1如何通过对抗性、组合式框架在图嵌入中强制对多个敏感属性的表征不变性？
- RQ2组合方法是否在不严重牺牲边缘预测性能的情况下改善对敏感属性信息的移除？
- RQ3模型是否能够在测试时对未见的敏感属性组合推广公平不变性？
- RQ4组合公平性相较于对每个属性单独强制公平性有何差异？
主要发现
- 框架在不变性与边缘预测精度之间实现可控的权衡，通常不变性越大，预测性能越低。
- 在某些数据集中，组合对抗者可以移除比针对每个属性单独训练对抗者更多的多属性信息。
- 该方法对未见的敏感属性组合具有良好泛化，在大属性设置下对保留组合的性能下降较小。
- 在 MovieLens-1M 和 Reddit 上，不变性几乎消除了嵌入中的属性可预测性，同时对主任务的损失较小；在 Freebase-15k-237 上，移除敏感信息更具挑战性而不损害性能。
- 实证结果显示通过对抗正则化可以降低预测偏差，在相关属性设置中，组合不变性可超过非组合方法。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。