[论文解读] Fair Infinitesimal Jackknife: Mitigating the Influence of Biased Training Data Points Without Refitting

Prasanna Sattigeri, Soumya K. Ghosh+3 more|arXiv (Cornell University)|Dec 13, 2022

Ethics and Social Impacts of AI被引用 5

一句话总结

本文提出公平微小自助法（Fair Infinitesimal Jackknife，Fair-IJ），一种后处理方法，通过识别并近似移除对群体不公平性度量具有过度影响的训练数据点，从而在不重新训练模型的情况下提升预训练分类器的公平性。该方法采用稳定的、高效的影响力估计方法——IHVP-WoodFisher方案，实现对影响度的精确估算。该方法显著降低了性别平等与机会均等的不公平性差异，同时保持了较高的预测准确性。

ABSTRACT

In consequential decision-making applications, mitigating unwanted biases in machine learning models that yield systematic disadvantage to members of groups delineated by sensitive attributes such as race and gender is one key intervention to strive for equity. Focusing on demographic parity and equality of opportunity, in this paper we propose an algorithm that improves the fairness of a pre-trained classifier by simply dropping carefully selected training data points. We select instances based on their influence on the fairness metric of interest, computed using an infinitesimal jackknife-based approach. The dropping of training points is done in principle, but in practice does not require the model to be refit. Crucially, we find that such an intervention does not substantially reduce the predictive performance of the model but drastically improves the fairness metric. Through careful experiments, we evaluate the effectiveness of the proposed approach on diverse tasks and find that it consistently improves upon existing alternatives.

研究动机与目标

• 在无法重新训练模型（如因成本过高或模型过大）的情况下，解决高风险机器学习决策中的公平性问题。
• 开发一种后处理方法，通过针对有影响力的训练实例进行干预，而非修改推理时的预测结果，以缓解偏差。
• 通过高效的影响力估计，实现在 BERT 等大模型中无需完整微调即可提升公平性。
• 在显著降低群体不公平性指标（如性别平等与机会均等）的同时，保持高预测性能。

提出的方法

• 该方法利用影响力函数估算每个训练实例对性别平等与机会均等等公平性指标的影响程度。
• 采用微小自助法近似计算每个训练样本对目标公平性指标的影响。
• 提出一种新型的 IHVP-WoodFisher 方法，以稳定且高效的方式计算逆海塞-向量积，避免了昂贵的海塞矩阵求逆。
• 该方法识别并近似移除最具不公平影响力的训练实例，从而降低其对群体公平性的影响。
• 该方法在模型训练后应用，无需重新训练模型，因此适用于 BERT 等大模型。
• 该方法可通过提示微调（prompt-tuning）适配复杂模态（如自然语言处理），其中仅需优化少量触发词。

实验结果

研究问题

• RQ1 能否通过选择性地移除有影响力的训练数据点，在不重新训练的前提下提升预训练模型的公平性？
• RQ2 如何在大模型中高效且稳定地计算训练实例对公平性指标的影响？
• RQ3 移除高影响力有偏数据点是否能带来优于现有后处理方法的公平性-准确率权衡？
• RQ4 该方法能否通过参数高效微调（如提示微调）有效应用于大规模预训练语言模型？

主要发现

• 在 Adult 数据集上，Fair-IJ 将性别平等差异从 0.18 降低至 0.01，且准确率未出现显著下降。
• 在 Coverage 数据集上，性别平等差异从 0.22 降低至 0.01，经 Fair-IJ 处理后得到显著改善。
• 在 CivilComments 数据集上，以穆斯林为敏感属性时，Fair-IJ 将性别平等差异从基线的 0.268 降低至 0.042（BERT TT=4），以及从 0.254 降低至 0.089（BERT TT=10）。
• Fair-IJ 在公平性提升方面优于 ERM 与 Gap Regularization，且在所有测试的 BERT 变体中保持或提升了平衡准确率。
• 即使仅对包含少量可学习触发词的提示微调 BERT 模型应用，该方法仍实现了显著的公平性提升。
• IHVP-WoodFisher 近似方法表现出稳定且高效的特点，使大规模模型中的影响力估计成为可能，且无需施加严格的曲率假设。