[论文解读] Augmented Fairness: An Interpretable Model Augmenting Decision-Makers' Fairness

Tong Wang, Maytal Saar‐Tsechansky|arXiv (Cornell University)|Nov 17, 2020

Ethics and Social Impacts of AI参考文献 19被引用 4

一句话总结

本文提出 AuFair，一种与模型无关、可解释的公平性增强方法，通过使用一组在双重目标（预测性能与公平性）下训练的简短决策规则，替换有偏见的预测，从而提升人类或黑箱决策者的公平性。在真实标签获取预算有限的情况下，AuFair 在公平性-准确率权衡方面优于基线方法，包括最先进的后处理方法。

ABSTRACT

We propose a model-agnostic approach for mitigating the prediction bias of a black-box decision-maker, and in particular, a human decision-maker. Our method detects in the feature space where the black-box decision-maker is biased and replaces it with a few short decision rules, acting as a "fair surrogate". The rule-based surrogate model is trained under two objectives, predictive performance and fairness. Our model focuses on a setting that is common in practice but distinct from other literature on fairness. We only have black-box access to the model, and only a limited set of true labels can be queried under a budget constraint. We formulate a multi-objective optimization for building a surrogate model, where we simultaneously optimize for both predictive performance and bias. To train the model, we propose a novel training algorithm that combines a nondominated sorting genetic algorithm with active learning. We test our model on public datasets where we simulate various biased "black-box" classifiers (decision-makers) and apply our approach for interpretable augmented fairness.

研究动机与目标

• 解决人类决策者中的偏差问题，这些决策者无法重新训练或按需访问，且其输出为离散而非概率性结果。
• 开发一种仅依赖少量、预算受限的真实标签而非完整真实标签的公平性缓解方法。
• 确保可解释性，使人类专家能够在高风险领域审核并批准增强后的模型。
• 提供灵活的多解权衡方案，实现公平性与预测性能之间的平衡，而非单一固定解。
• 构建一种人机混合系统，其中可解释的代理模型在需要时选择性地介入以纠正偏差。

提出的方法

• 该方法采用多目标优化框架，训练一个可解释的代理模型（AuFair），以平衡预测性能与公平性。
• AuFair 在黑箱决策者预测结果和通过主动学习获取的有限真实标签上进行训练。
• 提出一种新型训练算法，结合非支配排序遗传算法（NSGA-II）与主动学习，迭代选择最具信息量的样本进行标签获取。
• 代理模型由可解释的关联规则组成，作为原始决策者在特征空间中存在偏差区域的‘公平代理’。
• 模型在公平性（以真正例率绝对差异衡量）与误差率的帕累托前沿上进行评估。
• 标签获取过程由不确定性和多样性标准引导，以在预算约束下最大化信息增益。

实验结果

研究问题

• RQ1 当仅能获取有限数量的真实标签时，后处理方法是否能实现优于现有基线的公平性-准确率权衡？
• RQ2 可解释的代理模型是否能有效替代人类或黑箱决策者的有偏决策，同时保持对专家的可理解性？
• RQ3 随着标签获取预算的增加，所提方法的性能如何变化？
• RQ4 与随机或非自适应采样相比，用于标签获取的主动学习策略是否显著提升模型性能？
• RQ5 该方法是否能提供公平性-准确率前沿上的多种解，支持根据任务偏好选择最优权衡？

主要发现

• AuFair 在公平性-准确率权衡方面显著优于 EOP 基线，尤其在降低偏差的同时保持相近的误差率。
• 即使仅使用 1% 的真实标签，AuFair 在公平性和误差方面仍优于使用 100% 真实标签的基线方法。
• AuFair 的帕累托前沿在 1% 到 10% 的标签获取范围内显著改善，超过 10% 后收益递减。
• AuFair 在所有预算水平下均优于 EOP 基线，提供偏差更低和/或误差更低的解决方案。
• 主动学习策略能有效识别信息量大的样本，显著降低方差，并在极少标签查询下提升模型性能。
• 该方法成功提供了一组灵活的解决方案，位于公平性-准确率前沿上，支持根据任务需求选择最优权衡。