[论文解读] Balancing out Bias: Achieving Fairness Through Training Reweighting.

Xudong Han, Timothy Baldwin+1 more|arXiv (Cornell University)|Sep 16, 2021

Topic Modeling参考文献 35被引用 9

一句话总结

本文提出了一种简单但有效的偏差缓解方法，基于任务标签和作者人口统计频率进行实例重加权，并结合使用人口统计输入生成去偏预测的门控模型。该方法通过直接解决作者人口统计与语言特征之间的相关性，显著降低了少数群体间的错误率差异，优于现有技术。

ABSTRACT

Bias in natural language processing arises primarily from models learning characteristics of the author such as gender and race when modelling tasks such as sentiment and syntactic parsing. This problem manifests as disparities in error rates across author demographics, typically disadvantaging minority groups. Existing methods for mitigating and measuring bias do not directly account for correlations between author demographics and linguistic variables. Moreover, evaluation of bias has been inconsistent in previous work, in terms of dataset balance and evaluation methods. This paper introduces a very simple but highly effective method for countering bias using instance reweighting, based on the frequency of both task labels and author demographics. We extend the method in the form of a gated model which incorporates the author demographic as an input, and show that while it is highly vulnerable to input data bias, it provides debiased predictions through demographic input perturbation, and outperforms all other bias mitigation techniques when combined with instance reweighting.

研究动机与目标

• 解决源于作者人口统计（如性别、种族）与语言模式之间相关性的NLP模型偏差问题。
• 克服现有偏差缓解与评估方法的局限性，这些方法通常忽略人口统计-语言相关性，且在数据集平衡和评估协议上缺乏一致性。
• 开发一种直接通过基于任务标签和作者人口统计的训练实例重加权来缓解偏差的方法。
• 评估该方法在减少不同人口统计群体间错误率差异方面的有效性，特别是对代表性不足的少数群体。
• 证明即使在有偏差的数据上进行训练，带有人口统计输入扰动的门控模型也能生成去偏预测。

提出的方法

• 该方法使用实例重加权，其中每个训练样本根据其任务标签频率和相关作者的人口统计群体频率被分配一个权重。
• 重加权用于平衡训练数据中代表性不足的人口统计群体的贡献，从而减少模型对多数群体的偏差。
• 引入一种门控模型，同时接收输入序列和作者的人口统计信息，使模型能够基于人口统计背景来调整预测。
• 该模型使用重加权实例进行训练，并通过在人口统计特征上施加输入扰动来生成去偏预测，从而在推理过程中有效模拟公平性。
• 该方法显式建模了作者人口统计与语言变量之间的相关性，而此前的方法往往忽略这一点。
• 该方法设计简洁有效，仅需极少的架构改动，即可显著提升公平性度量。

实验结果

研究问题

• RQ1 基于任务标签和作者人口统计的重加权在NLP模型偏差缓解中的效果如何？
• RQ2 带有人口统计输入的门控模型在多大程度上能减少不同人口统计群体间的错误率差异？
• RQ3 与现有偏差缓解技术相比，实例重加权与人口统计输入扰动相结合的方法在公平性和性能方面表现如何？
• RQ4 忽略人口统计-语言相关性对偏差评估与缓解有何影响？
• RQ5 一种简单且模块化的方法能否在不牺牲任务准确率的前提下实现最先进水平的公平性？

主要发现

• 所提出的重加权方法通过根据标签和人口统计频率调整训练实例权重，显著降低了不同人口统计群体间的错误率差异。
• 即使训练数据中存在强烈的人口统计偏差，带有人口统计输入扰动的门控模型仍能生成去偏预测。
• 当与实例重加权结合时，该方法在公平性度量方面优于所有其他偏差缓解技术。
• 该方法有效考虑了作者人口统计与语言变量之间的相关性，而此前的方法往往未能解决这一问题。
• 该模型在主要NLP任务上保持了具有竞争力的性能，同时实现了更优的公平性，证明了偏差缓解无需以牺牲准确性为代价。