[论文解读] Fairness via Representation Neutralization

Mengnan Du, Subhabrata Mukherjee+4 more|arXiv (Cornell University)|Jun 23, 2021

Ethics and Social Impacts of AI参考文献 42被引用 28

一句话总结

RNF 通过仅对分类头进行去偏，使表示中和化来减轻偏见，可选地使用代理的敏感属性注释，在训练时不需要受保护属性标签。

ABSTRACT

Existing bias mitigation methods for DNN models primarily work on learning debiased encoders. This process not only requires a lot of instance-level annotations for sensitive attributes, it also does not guarantee that all fairness sensitive information has been removed from the encoder. To address these limitations, we explore the following research question: Can we reduce the discrimination of DNN models by only debiasing the classification head, even with biased representations as inputs? To this end, we propose a new mitigation technique, namely, Representation Neutralization for Fairness (RNF) that achieves fairness by debiasing only the task-specific classification head of DNN models. To this end, we leverage samples with the same ground-truth label but different sensitive attributes, and use their neutralized representations to train the classification head of the DNN model. The key idea of RNF is to discourage the classification head from capturing spurious correlation between fairness sensitive information in encoder representations with specific class labels. To address low-resource settings with no access to sensitive attribute annotations, we leverage a bias-amplified model to generate proxy annotations for sensitive attributes. Experimental results over several benchmark datasets demonstrate our RNF framework to effectively reduce discrimination of DNN models with minimal degradation in task-specific performance.

研究动机与目标

• 激励并分析偏见如何从编码器表示传播到特定任务分类头。
• 提出 Representation Neutralization for Fairness (RNF)，仅对分类头去偏，同时使用带偏见的编码器作为输入。
• 在资源不足的设置中通过生成敏感属性的代理注释来实现公平性缓解，而无权获得真实标签。
• 证明 RNF 在表格和图像基准数据上减少歧视，同时对任务准确性的损失很小。
• 表明 RNF 能够补充现有的去偏编码器方法，并且可以与它们结合以提升公平性。

提出的方法

• 训练一个带偏见的教师网络，使用标准交叉熵以获得偏见表示。
• 冻结来自有偏教师的编码器，只用 Representation Neutralization 重新训练分类头，该方法利用来自具有相同标签但敏感属性不同的样本的两个表示的平均值。
• 在头部重新训练时使用来自有偏教师的软概率（温度缩放）作为知识蒸馏的目标。
• 引入平滑中和化和混合损失（中和表示与软预测之间的均方误差）以鼓励依赖于任务相关信息并减少对受保护属性的敏感性。
• 可选地通过使用广义交叉熵（GCE）训练的偏见放大模型生成代理的敏感属性注释，以在没有属性标签的情境中实现 RNF。
• 将有偏编码器与重新训练的头部结合形成用于推理的去偏学生模型。

实验结果

研究问题

• RQ1 仅对分类头去偏，前提是编码器表示有偏，是否能在不显著影响任务性能的情况下减少歧视？
• RQ2 当无法获得受保护属性标签时，如何生成敏感属性的代理注释，它们对 RNF 的有效性如何？
• RQ3 中和表示对头部对公平性敏感信息的依赖性有何影响？
• RQ4 在公平性-准确性权衡方面，RNF 与对抗训练和等价化机会正则化相比有何差异？
• RQ5 RNF 能否通过作为去偏编码器的附加组件来补充现有去偏方法？

主要发现

• RNF 在基准数据集上显著降低歧视，同时对任务精度的下降很小。
• RNF 的表现与使用真实敏感属性的的方法相当，在某些指标上甚至优于某些基线。
• 使用软标签（温度 T > 1）和平滑正则化通过阻止过度自信的带偏预测来提升缓解效果。
• 基于 GCE 的代理注释在低资源设置中使 RNF 成为可行，即使注释并不完美也能实现有意义的公平性改进。
• 仅去偏最后一层（RNF-Last）可以在较小或与去偏更深层的准确性损失相当的情况下实现显著的公平性提升。
• RNF 可以补充去偏编码器；将 RNF 与已知的去偏编码器结合进一步改善公平性指标。