[论文解读] Towards an Enhanced Understanding of Bias in Pre-trained Neural Language Models: A Survey with Special Emphasis on Affective Bias

K. Anoop, Manjary P. Gangan+2 more|arXiv (Cornell University)|Apr 21, 2022

Topic Modeling被引用 4

一句话总结

本综述对大规模预训练语言模型中的偏见进行了全面分析，特别聚焦于情感偏见——即与情绪及情绪表达相关的偏见。综述回顾了偏见的来源、量化方法、缓解技术，并通过专门的语料库评估了情感偏见，为提升自然语言处理系统（尤其是情感计算应用）的公平性提供了关键框架。

ABSTRACT

The remarkable progress in Natural Language Processing (NLP) brought about by deep learning, particularly with the recent advent of large pre-trained neural language models, is brought into scrutiny as several studies began to discuss and report potential biases in NLP applications. Bias in NLP is found to originate from latent historical biases encoded by humans into textual data which gets perpetuated or even amplified by NLP algorithm. We present a survey to comprehend bias in large pre-trained language models, analyze the stages at which they occur in these models, and various ways in which these biases could be quantified and mitigated. Considering wide applicability of textual affective computing based downstream tasks in real-world systems such as business, healthcare, education, etc., we give a special emphasis on investigating bias in the context of affect (emotion) i.e., Affective Bias, in large pre-trained language models. We present a summary of various bias evaluation corpora that help to aid future research and discuss challenges in the research on bias in pre-trained language models. We believe that our attempt to draw a comprehensive view of bias in pre-trained language models, and especially the exploration of affective bias will be highly beneficial to researchers interested in this evolving field.

研究动机与目标

• 系统理解大规模预训练神经语言模型中的偏见，尤其聚焦于情感偏见。
• 识别偏见在自然语言处理流水线中产生的阶段，包括预训练和微调阶段。
• 评估现有的偏见评估语料库，并评估其在衡量自然语言处理系统中情感偏见方面的适用性。
• 强调偏见量化、缓解措施以及公平性与模型性能之间权衡的挑战。
• 倡导结合社会学、心理学和软件工程的跨学科方法，以更全面地应对偏见问题。

提出的方法

• 将偏见分类为描述性（例如，性别化职业关联）和风格性（例如，基于方言的差异）类型。
• 回顾计算技术，如词语嵌入关联测试（WEAT）和句子编码器关联测试（SEAT），用于量化表示偏见。
• 分析偏见在整个模型生命周期中的传播，区分预训练数据、预训练算法和微调过程的影响。
• 通过回顾低资源语言和词形复杂的语言（如通过IndicBERT处理的马拉雅拉姆语等印度语言）中的偏见，分析语言多样性。
• 提出将软件工程实践（如单元测试和行为测试）整合到偏见评估流程中。
• 调查公开可用的数据集和语料库，用于偏见评估，包括专为情感偏见和交叉身份设计的语料。

实验结果

研究问题

• RQ1 情感偏见（如刻板的情绪关联）在预训练语言模型中如何表现？
• RQ2 预训练语言模型开发生命周期中，偏见的主要来源和阶段是什么？
• RQ3 如何利用现有评估框架和语料库量化和测量情感偏见？
• RQ4 在区分预训练和微调对整体模型偏见的贡献方面，面临哪些关键挑战？
• RQ5 心理学、社会学和软件工程的跨学科方法如何改善自然语言处理中的偏见检测与缓解？

主要发现

• 情感偏见是一种重要但研究不足的偏见形式，典型表现为有害的情绪刻板印象，如‘愤怒的黑人女性’刻板印象。
• 像GPT-3这样的预训练模型已表现出具有歧视性的文本补全（例如，将穆斯林与暴力关联），表明其训练数据中存在根深蒂固的偏见。
• 由于大规模语料库中分布不均，偏见往往在预训练阶段被放大，并在微调过程中进一步固化。
• 用于交叉偏见（如‘穆斯林女性’、‘黑人女性’）的评估语料库虽稀少但对衡量复杂偏见模式至关重要。
• 缓解策略通常导致性能权衡，凸显了在公平性与准确性之间实现平衡优化的必要性。
• 跨学科方法，包括内隐联想测试和软件测试实践，为实现可扩展且系统的偏见评估提供了有前景的路径。