[论文解读] Hi, my name is Martha: Using names to measure and mitigate bias in generative dialogue models

Eric M. Smith, Adina Williams|arXiv (Cornell University)|Sep 7, 2021

Authorship Attribution and Profiling参考文献 83被引用 12

一句话总结

本文提出了一种新颖的方法，通过使用姓名作为人口统计身份的语言代理，来衡量并减轻生成式对话模型中的性别与种族偏见。研究发现，更大的模型在性别刻板印象方面表现得更强烈，并评估了姓名混淆、受控生成和反似然训练作为有效的去偏技术，显著降低了模型响应中的标记级别和序列级别偏见。

ABSTRACT

All AI models are susceptible to learning biases in data that they are trained on. For generative dialogue models, being trained on real human conversations containing unbalanced gender and race/ethnicity references can lead to models that display learned biases, which we define here broadly as any measurable differences in the distributions of words or semantic content of conversations based on demographic groups. We measure the strength of such biases by producing artificial conversations between two copies of a dialogue model, conditioning one conversational partner to state a name commonly associated with a certain gender and/or race/ethnicity. We find that larger capacity models tend to exhibit more gender bias and greater stereotyping of occupations by gender. We show that several methods of tuning these dialogue models, specifically name scrambling, controlled generation, and unlikelihood training, are effective in reducing bias in conversation, including on a downstream conversational task. Name scrambling is also effective in lowering differences in token usage across conversations where partners have names associated with different genders or races/ethnicities.

研究动机与目标

• 探究生成式对话模型是否根据姓名所关联的性别和种族/族裔而产生不同的响应。
• 开发并评估一种新的基准测试方法，通过在具有已知人口统计关联的姓名条件下，对模型实例进行人工自对话。
• 评估多种缓解策略——姓名混淆、受控生成和反似然训练——在减少对话生成中性别化和交叉性偏见方面的有效性。
• 研究模型规模如何影响对话输出中所学习到的性别和种族偏见的强度。
• 探索能够减轻性别偏见的去偏技术是否也能缓解模型响应中的种族化偏见。

提出的方法

• 作者通过让一个模型实例以与特定性别或种族/族裔统计关联的姓名来自我介绍，而另一个模型自然地作出回应，从而开展自对话实验。
• 他们使用按性别和种族/族裔分类的精选姓名列表（例如，Latonya 代表非裔美国黑人女性，Martha 代表白人女性），以模拟多样化的对话伙伴。
• 通过标记级别和序列级别指标衡量偏见，包括在不同姓名条件对话中词语使用和语义内容的差异。
• 该论文评估了三种缓解策略：姓名混淆（随机化姓名顺序以破坏人口统计关联）、受控生成（使用人物设定条件来引导响应）和反似然训练（惩罚可能但有偏见的输出）。
• 使用人工评估和 ACUTE-Eval 来评估模型的自然度和偏好度，结果按标注者对平等原则的认同程度进行分层。
• 该方法通过分析与重叠身份（例如，非裔美国黑人女性、亚裔美国人男性）相关联的姓名的响应，实现了交叉性偏见的测量。

实验结果

研究问题

• RQ1 当以与特定性别或种族刻板印象相关的姓名自我介绍时，生成式对话模型是否会生成不同的响应？
• RQ2 模型规模是否与职业和社交角色关联中的性别刻板印象增强相关？
• RQ3 姓名混淆、受控生成和反似然训练在多大程度上能够减少对话生成中的性别化和种族化偏见？
• RQ4 能够减轻性别偏见的去偏技术是否也能缓解模型输出中的种族偏见？
• RQ5 具有不同平等认同程度的人类标注者如何感知模型响应的公平性和自然度？

主要发现

• 更大的语言模型在其响应中表现出显著更强的性别偏见，尤其是在根据性别对职业进行刻板印象化方面。
• 姓名混淆能有效减少标记级别和序列级别的偏见，尤其在针对不同性别或种族关联姓名的响应中效果显著。
• 受控生成和反似然训练也减少了偏见，其中反似然训练在降低有偏见响应的可能性方面表现尤为出色。
• 这些缓解策略减少了在不同人口统计关联姓名的对话中词语使用和语义内容的差异。
• 人工评估显示，去偏后的模型被评价为更具自然感且更受欢迎，尤其在认同平等原则的标注者中表现更佳。
• 该研究发现，对性别偏见有效的去偏技术也能减少种族化偏见，表明这些方法具有跨人口群体的益处。