[论文解读] Equalizing Recourse across Groups

Vivek Gupta, Pegah Nokhiz+2 more|arXiv (Cornell University)|Sep 7, 2019

Explainable Artificial Intelligence (XAI)参考文献 22被引用 17

一句话总结

本文提出一种通过最小化分类器决策边界距离差异来实现不同人口群体间可追溯性均等化的方法，适用于线性和非线性模型，采用正则化目标函数。该方法在保持高预测准确性的前提下，显著降低了可追溯性不公——最高实现100%的改进，且在多种数据集和模型类型中表现稳定。

ABSTRACT

The rise in machine learning-assisted decision-making has led to concerns about the fairness of the decisions and techniques to mitigate problems of discrimination. If a negative decision is made about an individual (denying a loan, rejecting an application for housing, and so on) justice dictates that we be able to ask how we might change circumstances to get a favorable decision the next time. Moreover, the ability to change circumstances (a better education, improved credentials) should not be limited to only those with access to expensive resources. In other words, \emph{recourse} for negative decisions should be considered a desirable value that can be equalized across (demographically defined) groups. This paper describes how to build models that make accurate predictions while still ensuring that the penalties for a negative outcome do not disadvantage different groups disproportionately. We measure recourse as the distance of an individual from the decision boundary of a classifier. We then introduce a regularized objective to minimize the difference in recourse across groups. We explore linear settings and further extend recourse to non-linear settings as well as model-agnostic settings where the exact distance from boundary cannot be calculated. Our results show that we can successfully decrease the unfairness in recourse while maintaining classifier performance.

研究动机与目标

• 通过确保所有人口群体个体通过可行行动获得有利结果的机会相当，来解决机器学习决策中的伦理问题。
• 将可追溯性形式化为个体特征向量到分类器决策边界的距离，从而实现可量化的公平性度量。
• 开发一种正则化学习框架，在不损害模型准确率的前提下，实现不同群体间该可追溯性距离的均等化。
• 将该方法扩展至非线性和模型无关场景，其中精确的边界距离不可用。
• 通过实证验证，证明可追溯性均等化能有效降低不公平性，同时在多种数据集和分类器中保持预测性能。

提出的方法

• 将可追溯性定义为个体特征向量到分类器决策边界的绝对距离，并以此作为公平性度量指标。
• 构建一个正则化目标函数，在模型训练过程中最小化不同人口群体间平均可追溯性距离的差异。
• 将该方法应用于线性模型，并通过多项式核和径向基函数核扩展至核化模型（如SVM）。
• 在模型无关场景中，采用基于估计可追溯性距离的重加权策略，以平衡群体间的差异。
• 在随机森林和逻辑回归等模型中利用样本权重，以近似实现正则化效果，而无需显式计算边界距离。
• 采用百分位数分布和中位数分析，评估在多轮实验和多个数据集上可追溯性均等性的稳健性。

实验结果

研究问题

• RQ1 我们能否在保持高模型准确率的前提下，减少不同人口群体在可追溯性可行性上的差异？
• RQ2 在线性和非线性模型中，最小化群体间可追溯性距离差异的正则化目标函数效果如何？
• RQ3 在决策边界未显式可知的模型无关场景中，可追溯性公平性可提升到何种程度？
• RQ4 可追溯性均等化是否能带来可测量的不公平性降低，如通过可追溯性差异的均值、中位数和百分位数分布来量化？
• RQ5 所提出方法对不同数据集和分类器类型下的模型准确率有何影响？

主要发现

• 在givemecredit数据集上，使用多项式核时，可追溯性差异最高降低了100%，多个案例中第95百分位数改善超过90%。
• 在credit数据集上，使用逻辑回归的模型无关设置中，训练阶段可追溯性差异降低了90%，测试阶段降低了100%。
• 所有数据集和模型中，可追溯性差异的中位数均下降，表明至少一半的实验运行在均等化后实现了更低的差异。
• 大多数情况下，模型准确率与基线值相差不超过1%，仅在特定情况（如propublica数据集上的AdaBoost）中观察到最高7%的轻微下降。
• 线性核的改进程度低于多项式核，可能由于参数更少，模型调整决策边界的灵活性较低。
• 在模型无关设置中，基于重加权的策略成功降低了随机森林、逻辑回归和AdaBoost中的可追溯性差异，证明了其在无需显式边界计算下的通用性。