[论文解读] A causal framework for discovering and removing direct and indirect discrimination

Lu Zhang, Yongkai Wu+1 more|arXiv (Cornell University)|Nov 22, 2016

Imbalanced Data Classification Techniques参考文献 22被引用 11

一句话总结

本文提出了一种因果框架，将直接歧视和间接歧视建模为有向无环图（DAG）中的路径特定效应，从而能够从历史数据中精确发现并消除两类歧视。通过利用路径特定效应和一种新型算法（PSE-DR），该方法确保后续预测模型既无直接歧视也无间接歧视，同时保持数据的可用性。

ABSTRACT

Anti-discrimination is an increasingly important task in data science. In this paper, we investigate the problem of discovering both direct and indirect discrimination from the historical data, and removing the discriminatory effects before the data is used for predictive analysis (e.g., building classifiers). We make use of the causal network to capture the causal structure of the data. Then we model direct and indirect discrimination as the path-specific effects, which explicitly distinguish the two types of discrimination as the causal effects transmitted along different paths in the network. Based on that, we propose an effective algorithm for discovering direct and indirect discrimination, as well as an algorithm for precisely removing both types of discrimination while retaining good data utility. Different from previous works, our approaches can ensure that the predictive models built from the modified data will not incur discrimination in decision making. Experiments using real datasets show the effectiveness of our approaches.

研究动机与目标

• 解决现有方法在歧视检测中混淆直接、间接和可解释效应的局限性。
• 开发一种方法，利用因果路径特定效应显式区分直接歧视和间接歧视。
• 确保在修改后的数据上训练的预测模型既无直接歧视也无间接歧视。
• 在歧视消除过程中保持数据可用性，避免过度的信息损失。

提出的方法

• 使用有向无环图（DAG）对数据的因果结构进行建模，其中节点表示变量，边表示因果关系。
• 将直接歧视定义为从受保护属性到决策结果的直接路径上的路径特定效应。
• 将间接歧视定义为从受保护属性到决策结果、且经过不合理的属性的路径上的路径特定效应。
• 利用路径特定效应公式，从未观测数据中估计歧视，从而实现总效应分解为直接效应、间接效应和可解释效应。
• 提出PSE-DD算法，通过基于观测数据估计路径特定效应，以发现直接和间接歧视。
• 提出PSE-DR算法，通过基于路径特定效应的反事实调整修改数据，同时保持数据可用性，从而消除直接和间接歧视。

实验结果

研究问题

• RQ1 如何利用因果模型正式区分并测量直接和间接歧视？
• RQ2 因果网络中的路径特定效应能否准确捕捉并量化直接和间接歧视？
• RQ3 能否设计一种数据修改策略，在消除直接和间接歧视的同时保持预测可用性？
• RQ4 所提出的方法是否能保证下游预测模型完全摆脱两类歧视？

主要发现

• PSE-DR算法成功从训练数据中消除了直接和间接歧视，使预测结果中的歧视效应为零。
• 在实验中，PSE-DR在训练数据中实现的歧视效应为0.013（直接）和0.049（间接），远低于0.05的阈值。
• PSE-DR方法保持了较高的数据可用性，χ²值为1.620×10⁴，显著低于DI方法的7.031×10⁴，表明信息损失更少。
• 在PSE-DR处理后的数据上训练的预测模型未表现出显著歧视，SVM和决策树分类器中的直接和间接效应均低于0.05的阈值。
• 相比之下，尽管DI算法在训练数据中消除了歧视，但其预测结果仍存在0.167（SVM）和0.168（DTree）的间接歧视，违反了非歧视标准。
• PSE-DR实现了较高的预测准确率（SVM为80.54%，DTree为80.55%），表明非歧视性与模型性能可以共存。