[论文解读] An Analysis of Social Biases Present in BERT Variants Across Multiple Languages

Aristides Milios, Parishad BehnamGhader|arXiv (Cornell University)|Nov 25, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本文提出一种基于模板的句子伪似然方法，用于衡量单语 BERT 模型在英语、希腊语和波斯语中的社会偏见（性别、种族和宗教），解决了现有词概率探测方法在形态复杂的语言中的局限性。研究发现，偏见高度依赖语言和文化，非英语模型对用户生成内容的偏见关联更强，且对措辞（如提喻法）更为敏感，凸显了在非直接翻译英语基准之外，需结合文化背景进行探测的必要性。

ABSTRACT

Although large pre-trained language models have achieved great success in many NLP tasks, it has been shown that they reflect human biases from their pre-training corpora. This bias may lead to undesirable outcomes when these models are applied in real-world settings. In this paper, we investigate the bias present in monolingual BERT models across a diverse set of languages (English, Greek, and Persian). While recent research has mostly focused on gender-related biases, we analyze religious and ethnic biases as well and propose a template-based method to measure any kind of bias, based on sentence pseudo-likelihood, that can handle morphologically complex languages with gender-based adjective declensions. We analyze each monolingual model via this method and visualize cultural similarities and differences across different dimensions of bias. Ultimately, we conclude that current methods of probing for bias are highly language-dependent, necessitating cultural insights regarding the unique ways bias is expressed in each language and culture (e.g. through coded language, synecdoche, and other similar linguistic concepts). We also hypothesize that higher measured social biases in the non-English BERT models correlate with user-generated content in their training.

研究动机与目标

• 探究除英语外，在多种语言的单语 BERT 模型中所体现的社会偏见（性别、种族和宗教）。
• 解决现有词概率探测方法在具有性别形容词变格的形态复杂语言中的局限性。
• 开发一种结合文化背景的、基于模板的偏见测量方法，以考虑诸如提喻法和迂回表达等语言细微差别。
• 证明偏见探测具有脆弱性且对措辞敏感，尤其在非英语模型中更为显著。
• 强调在设计有效偏见探测时，文化专业知识的必要性，因为偏见常通过隐晦语言表达。

提出的方法

• 提出一种句子伪似然评分方法，通过测量用刻板印象术语完成模板化句子的概率来评估偏见。
• 使用对性别和语境敏感的模板，在波斯语和希腊语等语言中生成语法正确的男性和女性形式句子，保持形态一致。
• 将该方法应用于在多种语言上微调的单语 BERT 模型，包括位于欧洲文化圈之外的波斯语。
• 采用一组标准化模板，涵盖宗教、种族和性别刻板印象，并通过变体测试对措辞的敏感性（例如，'Americans' 与 'people from the USA' 的对比）。
• 引入否定模板以测试模型对逻辑一致性的理解，揭示非英语模型在处理否定时表现欠佳。
• 通过可视化不同语言的偏见分布，比较文化间在习得关联上的异同。

实验结果

研究问题

• RQ1 非英语语言的单语 BERT 模型（希腊语、波斯语）与英语模型相比，如何反映社会偏见？
• RQ2 现有偏见探测方法在具有性别形容词变格的形态复杂语言中失败的程度如何？
• RQ3 不同表达方式（如直接的民族称谓与迂回表达）如何影响语言模型中测得的偏见？
• RQ4 模型对否定的理解如何影响偏见测量，特别是在非英语模型中？
• RQ5 文化与历史背景在多大程度上塑造了在用户生成内容上训练的语言模型所学习到的偏见？

主要发现

• 波斯语 BERT 模型对 'Americans' 的偏见得分显著高于 'people from the United States'，表明在伊朗媒体中，'Americans' 被用作美国政府的提喻法。
• 希腊语 BERT 模型对 'people from Israel' 的偏见关联强于对直接民族称谓 'Israelis' 的关联，表明其文化偏好使用迂回表达。
• 非英语模型（尤其是波斯语 BERT）对否定的理解能力较弱，对原始和否定模板中的 'men' 均赋予高概率，表明存在逻辑不一致。
• 即使人类直觉认为等价，模板措辞的微小变化也会显著影响偏见分布，揭示偏见探测对措辞高度脆弱。
• 研究发现，非英语模型中测得的社会偏见越高，其训练数据中用户生成内容的普遍性也越高。
• 文化与语言细微差别（如提喻法和隐晦语言）无法通过直接翻译英语偏见基准捕捉，因此必须采用基于文化的探测设计。