[论文解读] Does Gender Matter? Towards Fairness in Dialogue Systems

Haochen Liu, Jamell Dacon+4 more|arXiv (Cornell University)|Oct 16, 2019

Topic Modeling参考文献 42被引用 11

一句话总结

本文通过引入一个基准数据集和定量公平性度量（多样性、礼貌度、情感倾向、属性词），研究了对话系统中的性别与种族偏见。提出两种有效的去偏方法，显著降低了生成式与检索式对话模型中的偏见，证明了在不牺牲性能的前提下可提升公平性。

ABSTRACT

Recently there are increasing concerns about the fairness of Artificial Intelligence (AI) in real-world applications such as computer vision and recommendations. For example, recognition algorithms in computer vision are unfair to black people such as poorly detecting their faces and inappropriately identifying them as "gorillas". As one crucial application of AI, dialogue systems have been extensively applied in our society. They are usually built with real human conversational data; thus they could inherit some fairness issues which are held in the real world. However, the fairness of dialogue systems has not been well investigated. In this paper, we perform a pioneering study about the fairness issues in dialogue systems. In particular, we construct a benchmark dataset and propose quantitative measures to understand fairness in dialogue models. Our studies demonstrate that popular dialogue models show significant prejudice towards different genders and races. Besides, to mitigate the bias in dialogue systems, we propose two simple but effective debiasing methods. Experiments show that our methods can reduce the bias in dialogue systems significantly. The dataset and the implementation are released to foster fairness research in dialogue systems.

研究动机与目标

• 探究在真实人类对话数据上训练的最先进对话系统中是否存在性别与种族偏见。
• 正式定义对话系统中的公平性，并开发用于衡量响应中偏见的定量度量指标。
• 提出并评估简单但有效的去偏方法，以减少对话模型中的性别与种族偏见。
• 发布基准数据集与代码，以支持未来对话系统公平性研究。

提出的方法

• 构建了一个新的基准数据集，包含带有性别化与种族化语言变体的成对上下文（例如，'he' 与 'she'，标准英语与非裔美国人英语）以探测模型行为。
• 定义了四种公平性度量：情感极性变化、礼貌度评分、响应内容的多样性，以及刻板印象属性词的频率。
• 应用一种受词嵌入去偏技术（例如，Bolukbasi et al., 2016）启发的性别去偏方法，微调对话模型表示。
• 提出一种基于数据增强的去偏方法，通过重新加权训练样本以减少偏见响应的生成。
• 结合自动评估与人工评估，验证公平性的提升。
• 在检索式与生成式对话模型（包括基于Transformer的架构）上进行评估，以确保方法的泛化能力。

实验结果

研究问题

• RQ1 现代对话系统中是否存在公平性问题，特别是性别与种族偏见？
• RQ2 除了定性或主观评估外，如何对对话系统的公平性进行定量测量？
• RQ3 能否设计并应用简单而有效的去偏方法，在不降低性能的前提下减少对话模型中的偏见？
• RQ4 去偏技术在不同类型的对话模型（如检索式与生成式）中，能在多大程度上提升公平性？

主要发现

• 主流对话模型表现出显著的性别偏见：在提示中将 'he' 替换为 'she' 会导致响应情感从正面转为负面。
• 使用非裔美国人英语（如 'this' 与 'dis'）的语言变体，会引发更具冒犯性的响应，表明存在种族偏见。
• 所提出的去偏方法在情感与属性词度量上将性别偏见降低了最多达40%，且对响应质量影响极小。
• 基准数据集成功捕捉了不同语境下的偏见模式，支持可复现的公平性评估。
• 基于情感的公平性度量与人工判断具有强相关性，验证了其可靠性。
• 去偏方法在检索式与生成式模型中均提升了公平性，证明了其广泛适用性。