[论文解读] Counterfactual Fairness

Matt J. Kusner, Joshua R. Loftus+2 more|arXiv (Cornell University)|Mar 20, 2017

Ethics and Social Impacts of AI参考文献 31被引用 868

一句话总结

tldr: 引入反事实公平性，一种因果框架，确保预测在反事实变化下对受保护属性保持不变，并提出学习此类公平预测器的算法，在法学院入学成功预测上有所示例。

ABSTRACT

Machine learning can impact people with legal or ethical consequences when it is used to automate decisions in areas such as insurance, lending, hiring, and predictive policing. In many of these scenarios, previous decisions have been made that are unfairly biased against certain subpopulations, for example those of a particular race, gender, or sexual orientation. Since this past data may be biased, machine learning predictors must account for this to avoid perpetuating or creating discriminatory practices. In this paper, we develop a framework for modeling fairness using tools from causal inference. Our definition of counterfactual fairness captures the intuition that a decision is fair towards an individual if it is the same in (a) the actual world and (b) a counterfactual world where the individual belonged to a different demographic group. We demonstrate our framework on a real-world problem of fair prediction of success in law school.

研究动机与目标

• 在具有历史偏见的高风险领域中，激发对公平性感知预测的需求。
• 基于Pearl框架提出正式的因果定义的反事实公平性。
• 开发一种算法，通过利用潜变量来学习满足反事实公平性的预测模型。
• 用一个与现实世界类似的案例研究来说明该方法，预测法学院成功。
• 讨论在实践中因果公平性的含义、设计选择和局限性。

提出的方法

• 采用一个因果模型(U,V,F)，其中受保护属性A、观测变量X和结果Y。
• 定义反事实公平性：若在给定X和A的条件下，A发生反事实变化(A ← a′)时，hatY 的分布保持不变，则hatY 是公平的。
• 提出学习算法FairLearning，通过MCMC从P_M(U | X, A)采样潜变量U，并训练g_theta(U, X_nsucc(A))以最小化预测损失。
• 在预测时给出一个估计值，形式为E[hatY(U*, X_nsucc(A*)) | X*, A*]。
• 展示与现有公平性概念的联系，并主张在实践中采用显式的因果建模，而非纯统计标准。

实验结果

研究问题

• RQ1 在受保护属性因果地影响观测数据的因果环境中，如何定义一个符合公平性的预测器？
• RQ2 在保持预测有用性的同时，是否可以构造对受保护属性的反事实变化不变量的预测器？
• RQ3 在给定因果模型和有限数据的情况下，哪些是近似反事实的实用学习策略？
• RQ4 反事实公平性如何与平等机会和预测性等价性等其他公平性标准相关联并可能协调？

主要发现

• 反事实公平性提供了一种个体层面的公平性的概念，在因果路径上对受保护属性的反事实变化保持不变量。
• 提出一个算法（FairLearning），通过将预测器以潜变量U及A的非后代为基础来学习公平预测器，使用MCMC来近似反事实期望。
• 在法学院成功的示例中，反事实公平模型在公平性与预测准确性之间做出权衡，Level 1–3方法提供逐步更强的假设并产生不同的RMSE结果。
• 使用潜在公平变量（Level 2）或加性误差模型（Level 3）相对于Full和Unaware基线产生不同的预测性能，展示了公平与准确性的权衡。
• 反事实公平性有助于解决当Y与A相关联时传统标准可能冲突的公平性悖论。