[论文解读] Capuchin: Causal Database Repair for Algorithmic Fairness

Babak Salimi, Luke Rodriguez+2 more|arXiv (Cornell University)|Feb 21, 2019

Ethics and Social Impacts of AI参考文献 49被引用 14

一句话总结

Capuchin 提出了一种因果数据库修复框架，通过识别受保护属性可合法影响结果的可接受变量来缓解算法偏见，随后利用多值依赖（MVD）和优化技术（矩阵分解、MaxSAT）修复训练数据，以在保证可证明公平性的同时提升数据质量。该方法在真实数据集（如 Adult 和 COMPAS）上的公平性与数据效用方面均优于当前最先进的预处理方法。

ABSTRACT

Fairness is increasingly recognized as a critical component of machine learning systems. However, it is the underlying data on which these systems are trained that often reflect discrimination, suggesting a database repair problem. Existing treatments of fairness rely on statistical correlations that can be fooled by statistical anomalies, such as Simpson's paradox. Proposals for causality-based definitions of fairness can correctly model some of these situations, but they require specification of the underlying causal models. In this paper, we formalize the situation as a database repair problem, proving sufficient conditions for fair classifiers in terms of admissible variables as opposed to a complete causal model. We show that these conditions correctly capture subtle fairness violations. We then use these conditions as the basis for database repair algorithms that provide provable fairness guarantees about classifiers trained on their training labels. We evaluate our algorithms on real data, demonstrating improvement over the state of the art on multiple fairness metrics proposed in the literature while retaining high utility.

研究动机与目标

• 解决机器学习系统中由训练数据中嵌入的历史歧视所引发的算法偏见问题。
• 克服关联性公平性度量的局限性，后者可能因统计异常（如辛普森悖论）而产生误导。
• 将公平性形式化为基于因果假设的数据库修复问题，而无需完整的因果模型。
• 开发高效且可证明公平的数据修复算法，且对下游机器学习模型具有模型无关性。
• 在保持高预测效用的同时提升公平性度量表现。

提出的方法

• 使用可接受变量（即受保护属性可合法影响结果的变量）来形式化公平性，从而将因果公平性与虚假相关性区分开来。
• 将公平性条件转化为饱和的条件独立性，以多值依赖（MVD）的形式表达，用于数据库修复。
• 开发两种修复算法：一种基于低秩矩阵分解，用于近似标签分布；另一种基于 MaxSAT，以最小化标签更改的方式强制执行 MVD 约束。
• 使用修复后的数据训练分类器，确保受保护属性对预测结果的直接因果影响被消除。
• 结合关联性（如人口统计均等、平等机会）和因果性公平性度量对公平性进行评估，以验证结果的稳健性。
• 将该框架应用于真实数据集（Adult、COMPAS），并与当前最先进的预处理方法进行性能比较。

实验结果

研究问题

• RQ1 我们能否通过基于因果结构来定义公平性，从而避免关联性公平性度量（如辛普森悖论）的陷阱？
• RQ2 在仅依赖可接受变量假设的前提下，我们能在多大程度上实现公平性，而无需完整的因果模型？
• RQ3 能否利用数据库修复技术（特别是 MVD）系统性地从训练数据中去除歧视性因果影响？
• RQ4 所提出的修复算法在公平性和预测效用方面与现有预处理方法相比表现如何？
• RQ5 修复后的数据是否能生成在未见测试数据上泛化良好的公平分类器？

主要发现

• 在分箱处理的 Adult 和 COMPAS 数据集上，Capuchin 在数据效用方面显著优于 Calmon 和 Feldman 的预处理方法。
• 在分箱处理的 Adult 数据上，Capuchin 在保持更高准确率的同时，比基线方法更有效地减少了公平性违规（ROD）。
• 在高度分箱的 COMPAS 数据上，Capuchin 保持或甚至提升了分类器的准确率，而其他方法的准确率下降了 2%。
• Capuchin 的基于 MaxSAT 的方法在分箱数据上表现不佳，这是由于数据稀疏性导致的敏感性问题。
• 如某些基线方法仅强制执行人口统计均等（DP），反而在多数群体中引入了新的子群体偏见。
• 该框架在未见测试数据上表现出稳健性，多种公平性度量均实现了持续的公平性提升。