[论文解读] Societal Biases in Language Generation: Progress and Challenges

Emily Sheng, Kai-Wei Chang+2 more|arXiv (Cornell University)|May 10, 2021

Multimodal Machine Learning Applications参考文献 89被引用 12

一句话总结

本文对自然语言生成（NLG）中的社会偏见进行了全面综述，识别出预训练模型和解码技术如何加剧对边缘化群体的偏见。研究通过实验分析表明，解码策略显著影响偏见输出，主张在NLG系统中采用公平意识设计，以减少聊天机器人和翻译工具等现实应用中的潜在伤害。

ABSTRACT

Technology for language generation has advanced rapidly, spurred by advancements in pre-training large models on massive amounts of data and the need for intelligent agents to communicate in a natural manner. While techniques can effectively generate fluent text, they can also produce undesirable societal biases that can have a disproportionately negative impact on marginalized populations. Language generation presents unique challenges for biases in terms of direct user interaction and the structure of decoding techniques. To better understand these challenges, we present a survey on societal biases in language generation, focusing on how data and techniques contribute to biases and progress towards reducing biases. Motivated by a lack of studies on biases from decoding techniques, we also conduct experiments to quantify the effects of these techniques. By further discussing general trends and open challenges, we call to attention promising directions for research and the importance of fairness and inclusivity considerations for language generation applications.

研究动机与目标

• 系统性地调查自然语言生成（NLG）中在性别、种族和性取向等多样化人口维度上的社会偏见。
• 探究数据整理、模型架构和解码技术如何在NLG系统中导致偏见放大。
• 识别当前研究中的关键空白，特别是解码技术在偏见传播中作用的研究缺失。
• 提出可操作的研究方向以缓解偏见，包括交互式学习、改进的评估指标以及以影响为导向的框架。
• 强调在NLG应用中公平与包容的重要性，以防止对边缘化群体造成不成比例的伤害。

提出的方法

• 对现有关于NLG中社会偏见的文献进行全面综述，重点关注自动补全、对话、机器翻译和文本重写等任务。
• 按人口维度（如性别、种族、宗教）和NLG任务对偏见进行分类，以描绘偏见表现的全景图。
• 通过受控实验量化不同解码技术（如贪婪搜索、束搜索和核采样）对文本生成中偏见输出的影响。
• 分析解码策略如何调节生成针对代表性不足群体的刻板或有害内容的可能性。
• 提出一种强调各人口群体间多样性与代表性的偏见意识数据整理框架。
• 建议从抽象的偏见度量指标转向与影响对齐的度量指标，以反映对边缘化社区造成的现实伤害。

实验结果

研究问题

• RQ1 自回归语言模型中的不同解码技术如何影响对边缘化人口群体的偏见内容生成？
• RQ2 现代NLG系统中社会偏见的主要来源是什么？它们如何从数据、模型架构和推理机制中产生？
• RQ3 为何关于解码技术作为偏见来源的研究如此匮乏？这一空白应如何弥补？
• RQ4 如何改革偏见评估度量指标，使其更好地反映规范化的伤害定义和历史不平等等问题？
• RQ5 交互式和持续学习在长期发展中构建更公平的NLG系统中扮演何种角色？

主要发现

• 束搜索和核采样等解码技术显著影响生成刻板或偏见内容的可能性，某些方法比其他方法更显著放大性别和种族偏见。
• 本研究识别出一个关键研究空白：尽管数据和模型架构的偏见已得到广泛研究，但解码策略尽管对偏见输出有可测量的影响，却仍被严重忽视。
• 现有偏见评估数据集通常聚焦于二元性别分类，未能充分代表非二元或交叉身份，限制了偏见评估的公平性。
• 依赖词频比的绝对偏见度量可能掩盖更深层次的结构性不公，且与规范化的伤害定义或社会等级制度不一致。
• 目前缺乏有意义地将NLG中的偏见与对边缘化社区的实际负面影响联系起来的研究，凸显了构建以影响为导向的评估框架的迫切需求。
• 作者主张从以偏见为中心的评估转向以伤害为中心的评估，推广优先减少代表性不足群体实际负面结果的度量指标。