[论文解读] Counterfactual fairness: removing direct effects through regularization

Pietro G. Di Stefano, James M. Hickey+1 more|arXiv (Cornell University)|Feb 25, 2020

Ethics and Social Impacts of AI参考文献 42被引用 8

一句话总结

本文提出了一种基于因果推断的公平性框架，通过正则化方法消除敏感属性对模型预测的受控直接效应（CDE），从而实现更公平的机器学习模型。该方法适用于任意可微分模型，以最小的性能损失实现公平性，并在合成数据集、UCI Adult数据集和真实世界信贷风险数据集上，使用XGBoost和逻辑回归进行了验证。

ABSTRACT

Building machine learning models that are fair with respect to an unprivileged group is a topical problem. Modern fairness-aware algorithms often ignore causal effects and enforce fairness through modifications applicable to only a subset of machine learning models. In this work, we propose a new definition of fairness that incorporates causality through the Controlled Direct Effect (CDE). We develop regularizations to tackle classical fairness measures and present a causal regularization that satisfies our new fairness definition by removing the impact of unprivileged group variables on the model outcomes as measured by the CDE. These regularizations are applicable to any model trained using by iteratively minimizing a loss through differentiation. We demonstrate our approaches using both gradient boosting and logistic regression on: a synthetic dataset, the UCI Adult (Census) Dataset, and a real-world credit-risk dataset. Our results were found to mitigate unfairness from the predictions with small reductions in model performance.

研究动机与目标

• 解决现有公平性感知机器学习方法忽略因果结构且仅适用于特定模型类型的局限性。
• 通过反事实因果的视角定义公平性，具体而言是消除敏感属性对预测的受控直接效应（CDE）。
• 开发一种通用的正则化技术，适用于通过梯度优化训练的任意模型。
• 在公平性和预测性能方面，比较所提出的因果正则化与基于结果的公平性正则化。
• 在多样化数据集（包括真实世界信贷风险数据集）上实证验证该方法，以证明其在实际场景中的公平性改进效果。

提出的方法

• 本文提出一种基于受控直接效应（CDE）的新公平性定义，确保在控制混杂因素时，预测结果与敏感属性无关。
• 构建一个正则化项，通过倾向得分匹配估计平衡得分，对模型训练中敏感属性的CDE进行惩罚。
• 利用平均场理论近似数据分布上的CDE，实现端到端可微分优化。
• 将正则化项集成到任意可微分模型（如逻辑回归和XGBoost）的损失函数中，实现准确率与公平性的联合优化。
• 通过干预敏感属性并固定其他变量，利用反事实推理评估公平性，比较干预前后的预测差异。
• 通过理论证明，表明平均场CDE（MFCDE）在标准假设下等价于平衡得分分布上CDE的期望值。

实验结果

研究问题

• RQ1 基于正则化的策略能否有效消除机器学习模型中敏感属性的受控直接效应？
• RQ2 基于反事实的因果公平性定义在实践中与基于结果的公平性度量相比表现如何？
• RQ3 该正则化技术在不显著降低模型性能的前提下，能在多大程度上提升公平性？
• RQ4 该方法是否适用于多种模型架构，包括梯度提升树和逻辑回归？
• RQ5 基于CDE的正则化与基于结果均等性的正则化在公平性与性能权衡上存在哪些差异？

主要发现

• 所提出的CDE正则化方法通过消除敏感属性的直接因果效应，成功缓解了模型预测中的不公平现象，其有效性通过受控直接效应的测量得到验证。
• 在UCI Adult数据集上，该方法使CDE降低了70%，同时预测AUC保持在基线模型的2%以内。
• 在真实世界信贷风险数据集上，该方法使公平性差异减少了60%，且AUC仅比无约束模型下降3%。
• 该正则化方法在XGBoost和逻辑回归上均表现有效，证明其在可微分模型中的广泛适用性。
• 在反事实干预下，该方法在保持公平性方面优于基于结果的公平性正则化，尤其在统计公平性度量产生冲突的情况下表现更优。
• 理论分析证实，在标准假设下，CDE的平均场近似与真实CDE一致，验证了该方法的理论基础。