[论文解读] Fast Model Debias with Machine Unlearning

Ruizhe Chen, Jianfei Yang+8 more|arXiv (Cornell University)|Oct 19, 2023

Ethics and Social Impacts of AI被引用 6

一句话总结

本文提出了一种名为快速模型去偏（FMD）的新框架，通过使用反事实数据和影响函数，识别、评估并去除预训练模型中的偏见，实现仅通过少量参数更新即可高效去偏，且无需访问原始训练数据。FMD在显著降低计算成本和偏见的同时，实现了最先进的公平性表现，即使仅对模型的顶层进行遗忘学习，效果依然出色。

ABSTRACT

Recent discoveries have revealed that deep neural networks might behave in a biased manner in many real-world scenarios. For instance, deep networks trained on a large-scale face recognition dataset CelebA tend to predict blonde hair for females and black hair for males. Such biases not only jeopardize the robustness of models but also perpetuate and amplify social biases, which is especially concerning for automated decision-making processes in healthcare, recruitment, etc., as they could exacerbate unfair economic and social inequalities among different groups. Existing debiasing methods suffer from high costs in bias labeling or model re-training, while also exhibiting a deficiency in terms of elucidating the origins of biases within the model. To this respect, we propose a fast model debiasing framework (FMD) which offers an efficient approach to identify, evaluate and remove biases inherent in trained models. The FMD identifies biased attributes through an explicit counterfactual concept and quantifies the influence of data samples with influence functions. Moreover, we design a machine unlearning-based strategy to efficiently and effectively remove the bias in a trained model with a small counterfactual dataset. Experiments on the Colored MNIST, CelebA, and Adult Income datasets along with experiments with large language models demonstrate that our method achieves superior or competing accuracies compared with state-of-the-art methods while attaining significantly fewer biases and requiring much less debiasing cost. Notably, our method requires only a small external dataset and updating a minimal amount of model parameters, without the requirement of access to training data that may be too large or unavailable in practice.

研究动机与目标

• 解决大规模模型中重新训练或标注偏见的高成本和不切实际的问题。
• 在不访问原始训练数据的情况下，识别并量化预训练模型中的偏见。
• 开发一种后处理去偏方法，在最小化性能下降和计算成本的前提下，实现更优的公平性。
• 仅使用少量外部反事实样本数据集，实现有效的去偏。

提出的方法

• FMD构建事实样本与反事实样本对，通过观察属性变化下预测结果的变化，明确识别出偏见属性。
• 将影响函数扩展至量化单个训练样本对模型偏见的影响，从而精确识别出有害的训练样本。
• 采用基于牛顿步长的遗忘机制，通过仅更新少量模型参数来消除偏见关联。
• 提出一种替代性遗忘策略，利用外部反事实样本对，避免对原始训练数据的依赖，提升实用性。
• 该方法专注于微调预训练模型的顶层MLP层，最大限度降低计算开销。
• 利用机器遗忘技术，高效消除偏见，同时保持模型准确率。

Figure 1: Pipeline of our proposed FMD.

实验结果

研究问题

• RQ1 我们能否在不访问原始训练数据或进行大量标注的情况下，识别预训练模型中的偏见？
• RQ2 如何量化单个训练样本对模型偏见的影响？
• RQ3 我们能否仅使用少量外部反事实样本数据集，有效去除偏见？
• RQ4 通过在少数层上进行参数更新的遗忘方法，是否在公平性和准确性方面优于完整微调或后处理？
• RQ5 该框架是否可推广至大语言模型及多种公平性度量？

主要发现

• 在偏见严重程度为0.99的CIFAR-MNIST数据集上，FMD实现了83.49%的准确率和0.1438的偏见（Co），优于EqOdd（82.71%准确率，0.5991 Co）和CEqOdd（83.22%准确率，0.4469 Co）。
• 在Adult Income数据集上，FMD将种族属性下的偏见（De）降低至0.0367，而Reject为0.1825，EqOdd为0.7288。
• 在性别属性上，FMD的偏见（Co）为0.0019，显著低于CEqOdd（0.0047）和EqOdd（0.0247）。
• FMD在性别属性上的遗忘仅需0.0389秒，远低于Reject所需的14.42秒。
• 消融实验表明，仅微调最后两层MLP层在CIFAR-MNIST上取得了最高准确率（83.49%），而微调三层则导致性能下降。
• 当使用5,000个反事实样本时，性能趋于稳定，表明在此阈值后收益递减。

Figure 2: Visualization of factual and counterfactual pairs for three datasets.