[论文解读] Certifying and removing disparate impact

Michael B. Feldman, Sorelle A. Friedler+3 more|arXiv (Cornell University)|Dec 11, 2014

Ethics and Social Impacts of AI参考文献 6被引用 19

一句话总结

本文提出一种以数据为中心的方法，通过利用平衡误差率（BER）来检测和缓解机器学习中的差异影响，而无需访问模型的内部逻辑。该方法引入了一个框架，通过转换数据使受保护属性在统计上不可预测，同时保留预测效用，相较于先前的方法展现出更优的公平性-准确率权衡。

ABSTRACT

What does it mean for an algorithm to be biased? In U.S. law, unintentional bias is encoded via disparate impact, which occurs when a selection process has widely different outcomes for different groups, even as it appears to be neutral. This legal determination hinges on a definition of a protected class (ethnicity, gender, religious practice) and an explicit description of the process. When the process is implemented using computers, determining disparate impact (and hence bias) is harder. It might not be possible to disclose the process. In addition, even if the process is open, it might be hard to elucidate in a legal setting how the algorithm makes its decisions. Instead of requiring access to the algorithm, we propose making inferences based on the data the algorithm uses. We make four contributions to this problem. First, we link the legal notion of disparate impact to a measure of classification accuracy that while known, has received relatively little attention. Second, we propose a test for disparate impact based on analyzing the information leakage of the protected class from the other data attributes. Third, we describe methods by which data might be made unbiased. Finally, we present empirical evidence supporting the effectiveness of our test for disparate impact and our approach for both masking bias and preserving relevant information in the data. Interestingly, our approach resembles some actual selection practices that have recently received legal scrutiny.

研究动机与目标

• 将美国平等就业机会委员会（EEOC）的80%规则作为公平性准则，形式化机器学习中差异影响的认证。
• 开发一种仅基于数据的差异影响检测方法，无需访问模型或算法。
• 提出一种数据转换技术，在保留非受保护属性预测效用的同时消除差异影响。
• 通过实证验证，所提方法在公平性-准确率权衡方面优于现有方法。
• 提供一种实用且保护隐私的框架，用于审计和修复现实世界数据集中的偏差。

提出的方法

• 该方法使用平衡误差率（BER）作为代理指标，检测受保护属性是否能从其他特征中被预测，从而指示潜在的差异影响。
• 通过基于回归的程序最小化BER，以认证在数据上训练的任何分类模型均不会表现出差异影响。
• 通过组合与几何修复过程对数据进行转换，重新加权或重构非受保护属性，以降低受保护属性的可预测性。
• 修复过程旨在保持与原始数据分布的接近性，并保留未受保护特征中的信号。
• 该方法与分类器无关，允许在修复后的数据上应用任何下游分类器。
• 该方法在多个数据集（德国信贷、成人收入）和分类器（SVM、逻辑回归、朴素贝叶斯）上进行了评估，公平性通过Zemel的公平性评分衡量，准确性通过标准分类率衡量。

实验结果

研究问题

• RQ1 是否可以在不访问模型内部逻辑的前提下，仅依靠数据检测并认证差异影响？
• RQ2 如何利用平衡误差率（BER）作为代理指标，量化并认证差异影响的缺失？
• RQ3 哪些数据转换技术能够有效隐藏受保护属性，同时保留下游任务的预测效用？
• RQ4 所提方法的公平性-准确率权衡与现有公平学习方法相比如何？
• RQ5 修复过程在多个受保护属性上是否会导致效用损失的累积？

主要发现

• 所提出的认证方法成功识别并认证了无差异影响的数据集，证据显示在修复后的数据上，所有三种分类器均未表现出差异影响。
• 几何与组合修复过程实现了始终优于现有方法的公平性-准确率权衡，覆盖多个数据集和分类器。
• 对于任何期望的公平性水平，修复后的数据集均实现了比现有方法（如正则化逻辑回归、学习到的公平表征、公平朴素贝叶斯）更高的分类准确率。
• 修复带来的效用损失接近各独立属性损失之和，表明无累积效应，暗示该方法在多个人口属性上具有可扩展性。
• 该方法表现出灵活性，允许在修复后选择分类器；在Adult收入数据集上，基于朴素贝叶斯的修复在高公平性水平下实现了比逻辑回归更高的准确率。
• 原始数据表现出高度歧视性（公平性低），但修复后公平性与准确率均显著提升，尤其是在对分类器进行重加权以平衡类别先验时。