[论文解读] Causal Fairness Analysis

Drago Plečko, Elias Bareinboim|arXiv (Cornell University)|Jul 23, 2022

Ethics and Social Impacts of AI被引用 13

一句话总结

本文提出了一种因果公平性框架，将数据中的可观测差异与未观测到的因果机制相联系，解决了因果公平性分析的根本问题（FPCFA）。该框架提出了公平性地图——一种公平性准则的系统性分类法——以及一份公平性食谱，仅基于最少的因果假设，以检测差异性影响与差异性对待，从而实现使用交叉拟合与机器学习技术的稳健、双重稳健的反事实公平性估计。

ABSTRACT

Decision-making systems based on AI and machine learning have been used throughout a wide range of real-world scenarios, including healthcare, law enforcement, education, and finance. It is no longer far-fetched to envision a future where autonomous systems will be driving entire business decisions and, more broadly, supporting large-scale decision-making infrastructure to solve society's most challenging problems. Issues of unfairness and discrimination are pervasive when decisions are being made by humans, and remain (or are potentially amplified) when decisions are made using machines with little transparency, accountability, and fairness. In this paper, we introduce a framework for extit{causal fairness analysis} with the intent of filling in this gap, i.e., understanding, modeling, and possibly solving issues of fairness in decision-making settings. The main insight of our approach will be to link the quantification of the disparities present on the observed data with the underlying, and often unobserved, collection of causal mechanisms that generate the disparity in the first place, challenge we call the Fundamental Problem of Causal Fairness Analysis (FPCFA). In order to solve the FPCFA, we study the problem of decomposing variations and empirical measures of fairness that attribute such variations to structural mechanisms and different units of the population. Our effort culminates in the Fairness Map, which is the first systematic attempt to organize and explain the relationship between different criteria found in the literature. Finally, we study which causal assumptions are minimally needed for performing causal fairness analysis and propose a Fairness Cookbook, which allows data scientists to assess the existence of disparate impact and disparate treatment.

研究动机与目标

• 为解决因果公平性分析的根本问题（FPCFA），该问题将可观测差异与其生成的未观测因果机制相联系。
• 开发一个系统性框架，以组织和解释文献中多样化公平性准则之间的关系。
• 识别在现实世界决策系统中进行有效公平性评估所需的最少因果假设。
• 使数据科学家能够通过一种实用且可解释的工具——公平性食谱——检测差异性影响与差异性对待。
• 利用双重机器学习与交叉拟合技术，提供稳健、模型无关的反事实公平性估计。

提出的方法

• 基于差异性对待与差异性影响的法律原则，提出一个以结构因果模型和反事实形式化的因果框架。
• 引入公平性地图作为分类法，统一并阐明现有公平性准则之间的关系。
• 开发公平性食谱，明确说明评估公平性所需的最少因果假设，从而实现对差异性影响与差异性对待的检测。
• 采用双重稳健估计方法对反事实期望进行估计，确保若结果回归模型或倾向得分模型中任一正确设定，估计结果仍具一致性。
• 在双重机器学习中应用交叉拟合，即使在使用现代非Donsker类机器学习模型时，也能实现根-n一致性与有效推断。
• 使用改进的ψ-基双重稳健估计器，避免对高维中介变量进行高维密度估计，从而在连续或高维中介设定下提升稳定性和性能。

实验结果

研究问题

• RQ1 如何将数据中的可观测差异因果地归因于决策系统中未观测到的结构性机制？
• RQ2 检测和量化人工智能系统中不公平现象所需的最少因果假设集合是什么？
• RQ3 如何通过反事实推理正式定义并测量差异性影响与差异性对待？
• RQ4 在公平性分析中使用现代机器学习模型时，哪些估计策略能确保稳健性与有效性？
• RQ5 如何系统性地关联并可视化公平性准则，以提升公平性评估的可解释性与一致性？

主要发现

• 公平性地图首次系统性地组织了公平性准则，清晰阐明了其相互关系与依赖性。
• 公平性食谱使数据科学家能够基于最少且可解释的因果假设，评估差异性影响与差异性对待的存在性。
• 反事实公平性的双重稳健估计器即使在结果回归模型或倾向得分模型之一被错误设定时，仍保持一致性。
• 在双重机器学习中应用交叉拟合，通过放宽Donsker类条件，使现代机器学习模型的推断保持有效。
• 改进的ψ-基估计器避免了对高维中介变量的直接密度估计，从而在复杂场景下提升了稳定性和性能。
• faircause R 包实现了所提出的交叉拟合与双重稳健估计程序，便于在公平性评估中实际应用。