[论文解读] Causal Intersectionality and Fair Ranking

Ke Yang, Joshua R. Loftus+1 more|arXiv (Cornell University)|Jun 15, 2020

Game Theory and Voting Systems参考文献 43被引用 17

一句话总结

本文提出了一种用于排序系统中交叉公平性的因果建模框架，利用反事实得分来减轻种族与性别等重叠敏感属性带来的偏见。通过计算个体若属于不同交叉群体时的得分，该方法实现了更公平的top-k排名，实验证明在真实和合成数据集上均提升了代表性不足子群体的表示。

ABSTRACT

In this paper we propose a causal modeling approach to intersectional fairness, and a flexible, task-specific method for computing intersectionally fair rankings. Rankings are used in many contexts, ranging from Web search to college admissions, but causal inference for fair rankings has received limited attention. Additionally, the growing literature on causal fairness has directed little attention to intersectionality. By bringing these issues together in a formal causal framework we make the application of intersectionality in algorithmic fairness explicit, connected to important real world effects and domain knowledge, and transparent about technical limitations. We experimentally evaluate our approach on real and synthetic datasets, exploring its behavior under different structural assumptions.

研究动机与目标

• 为解决排序任务中因果公平性研究的空白，特别是交叉偏见背景下的问题。
• 利用结构因果模型（SCM）和反事实推理，形式化交叉公平性。
• 开发一种灵活、任务特定的公平排名计算方法，可同时考虑多个敏感属性及其交叉影响。
• 在不同结构假设下，基于真实和合成数据集对方法进行实证评估。
• 将交叉公平性与因果公平性文献联系起来，将公平性建立在现实世界的因果关系和领域知识基础之上。

提出的方法

• 该方法使用结构因果模型（SCM）和有向无环图（DAG）来表示变量之间的因果关系，包括敏感属性（如性别、种族）、中介变量和结果得分。
• 通过do-演算干预计算反事实得分：对每个个体，模拟其若属于不同交叉群体（如从白人男性变为黑人女性）时得分的变化。
• 基于这些反事实得分生成排名，通过消除敏感属性的因果效应，确保在交叉群体间实现公平性。
• 该方法区分了可解决与不可解决的中介变量，从而实现对哪些中间变量在决策中具有伦理合理性的细致建模。
• 该方法支持基于得分的排序和学习排序（LTR）任务，实验中采用ListNet进行LTR和反事实训练。
• 该框架已实现为代码，并在 https://github.com/DataResponsibly/CIFRank 公开提供。

实验结果

研究问题

• RQ1 如何在排序系统的因果框架内形式化交叉公平性？
• RQ2 反事实推理在多大程度上能减少种族与性别等重叠敏感属性在top-k排名中的偏见？
• RQ3 在存在混淆因子或中介变量等不同结构假设下，该方法表现如何？
• RQ4 该方法能否在最小化各交叉群体间效用损失的同时实现人口比例公平性？
• RQ5 选择可解决与不可解决的中介变量如何影响公平性结果？

主要发现

• 反事实排名方法成功改善了CSRankings数据集中小型和地理代表性不足院系的表示，使小型院系进入前20名，并实现了更大的地理平衡。
• 在搬家服务公司和COMPAS数据集中，该方法降低了各交叉群体（如黑人女性、白人男性）间选拔率的种族/性别差异，其中可解决的cf-LTR变体表现出最均衡的结果。
• 即使在各交叉群体间效用损失不均衡的情况下，该方法仍实现了合理的公平性改进，实验中观察到的不平衡范围在1%至5%之间。
• 在使用ListNet的LTR任务中，该方法表现出鲁棒性，学习到的排序器对反事实变换不敏感，表明其具备潜在的测试时公平性保障能力。
• 该方法的性能对顺序可忽略性假设较为敏感，尤其在存在多个中介变量或未观测混淆因子的模型中，凸显了模型有效性的关键作用。
• 该框架支持基于因果结构的透明、可解释的公平性干预，有助于推动包容性决策过程。