[论文解读] Fairness-aware Adversarial Perturbation Towards Bias Mitigation for Deployed Deep Models

Zhibo Wang, Xiaowei Dong+5 more|arXiv (Cornell University)|Mar 3, 2022

Ethics and Social Impacts of AI被引用 4

一句话总结

本文提出了一种新颖的方法——公平感知对抗扰动（FAAP），在不修改深度学习模型架构或参数的前提下，缓解其在实际部署中的偏差问题。FAAP 使用对抗生成器对输入数据进行扰动，使得受保护属性（如性别、种族）在模型的潜在空间中变得难以区分，从而减少不公平预测。该方法在商业 API 上实现了最高达 66.1% 的人口均等差异减少和 61.9% 的平等机会差异改善，同时仅造成轻微的准确率下降。

ABSTRACT

Prioritizing fairness is of central importance in artificial intelligence (AI) systems, especially for those societal applications, e.g., hiring systems should recommend applicants equally from different demographic groups, and risk assessment systems must eliminate racism in criminal justice. Existing efforts towards the ethical development of AI systems have leveraged data science to mitigate biases in the training set or introduced fairness principles into the training process. For a deployed AI system, however, it may not allow for retraining or tuning in practice. By contrast, we propose a more flexible approach, i.e., fairness-aware adversarial perturbation (FAAP), which learns to perturb input data to blind deployed models on fairness-related features, e.g., gender and ethnicity. The key advantage is that FAAP does not modify deployed models in terms of parameters and structures. To achieve this, we design a discriminator to distinguish fairness-related attributes based on latent representations from deployed models. Meanwhile, a perturbation generator is trained against the discriminator, such that no fairness-related features could be extracted from perturbed inputs. Exhaustive experimental evaluation demonstrates the effectiveness and superior performance of the proposed FAAP. In addition, FAAP is validated on real-world commercial deployments (inaccessible to model parameters), which shows the transferability of FAAP, foreseeing the potential of black-box adaptation.

研究动机与目标

• 解决在无法重新训练或修改结构的情况下，已部署深度学习模型中的公平性问题。
• 开发一种在推理阶段提升公平性的方法，且无需访问模型参数或架构信息。
• 通过扰动输入隐藏受保护属性，实现黑盒公平性缓解，使模型表示中无法识别受保护属性。
• 在保持模型准确率和泛化能力的同时，实现稳健的公平性改进。

提出的方法

• 训练一个生成器网络，以生成能隐藏输入数据中受保护属性的对抗性扰动。
• 训练一个判别器，以从已部署模型的潜在表示中分类受保护属性（如性别）。
• 生成器与判别器以对抗方式联合训练，其中生成器的目标是欺骗判别器，使其无法检测出受保护属性。
• 该方法利用已部署模型的潜在空间表示来指导扰动生成，确保扰动能有效隐藏与公平性相关的特征。
• 通过使用替代模型（如正常训练或公平性训练的模型）来训练生成器，实现迁移能力，当目标模型为黑盒时适用。
• 使用人口均等（DP）和平等机会差异（DEO）等公平性度量，在合成数据和真实世界商业 API 上对方法进行评估。

实验结果

研究问题

• RQ1 能否在不修改参数或架构的前提下，利用对抗性扰动缓解已部署深度学习模型中的公平性偏差？
• RQ2 所提出方法在真实世界黑盒模型中，对减少人口均等差异和平等机会差异的效率如何？
• RQ3 在替代模型上训练的扰动，能在多大程度上传播到商业且不可访问的 API 上？
• RQ4 该方法是否在显著提升公平性度量的同时，保持模型准确率？
• RQ5 该方法能否有效降低受保护属性与模型预测在潜在空间中的相关性？

主要发现

• 对于正常训练的模型，FAAP 平均使人口均等（DP）提升 27.5%，平等机会差异（DEO）降低 66.1%，准确率仅下降 1.5%。
• 在阿里巴巴的商业 API 上，FAAP 将 DEO 从 0.0952 降低至 0.0368，DP 从 0.1768 提升至 0.1475，准确率仅下降 0.26%。
• 在百度的商业 API 上，FAAP 实现 DP 提升 41.1%，DEO 降低 64.8%，准确率下降 2.89%。
• T-SNE 可视化结果表明，FAAP 扰动使不同受保护属性（如男性/女性）的潜在表示在空间中混合，降低可分性。
• 该方法在真实世界黑盒 API 上表现出强大的迁移能力，表明其在生产系统中具有实际部署潜力。
• 该方法在保持模型实用性的前提下，有效降低了受保护属性与预测结果的相关性，表现为在多个数据集和模型上均实现一致的公平性提升。