[论文解读] AraWEAT: Multidimensional Analysis of Biases in Arabic Word Embeddings

Anne Lauscher, Rafik Takieddin+2 more|MADOC (University of Mannheim)|Nov 3, 2020

Topic Modeling参考文献 22被引用 6

一句话总结

本文提出了AraWEAT，一种用于量化阿拉伯语词嵌入中偏见的多维框架，通过改编WEAT测试并整合额外的偏见度量方法。研究发现，阿拉伯语新闻词嵌入中的隐性性别偏见从2007年到2017年持续上升，且科普特语阿拉伯语中的偏见比现代标准阿拉伯语更为显著，整体语料库的偏见可由子语料库平均值高度预测。

ABSTRACT

Recent work has shown that distributional word vector spaces often encode human biases like sexism or racism. In this work, we conduct an extensive analysis of biases in Arabic word embeddings by applying a range of recently introduced bias tests on a variety of embedding spaces induced from corpora in Arabic. We measure the presence of biases across several dimensions, namely: embedding models (Skip-Gram, CBOW, and FastText) and vector sizes, types of text (encyclopedic text, and news vs. user-generated content), dialects (Egyptian Arabic vs. Modern Standard Arabic), and time (diachronic analyses over corpora from different time periods). Our analysis yields several interesting findings, e.g., that implicit gender bias in embeddings trained on Arabic news corpora steadily increases over time (between 2007 and 2017). We make the Arabic bias specifications (AraWEAT) publicly available.

研究动机与目标

• 调查在拥有约3亿使用者的全球主要语言阿拉伯语中，词嵌入内是否存在刻板印象偏见及其演变过程。
• 通过翻译和适配阿拉伯语的偏见测试规范，将多语言XWEAT框架扩展至阿拉伯语。
• 从多个维度分析偏见：嵌入模型（Skip-Gram、CBOW、FastText）、向量大小、文本类型（百科类、新闻类、用户生成内容）、方言（MSA与埃及阿拉伯语）以及时间周期。
• 评估大规模语料中的偏见是否可由时间上不重叠的子语料库中的偏见进行预测。
• 公开发布阿拉伯语偏见规范（AraWEAT），以支持未来阿拉伯语自然语言处理中的公平性研究。

提出的方法

• 通过翻译和验证目标词集与属性词集的偏见测试规范，将原始英文WEAT测试适配为阿拉伯语。
• 整合四种互补的偏见测试：WEAT（显性关联偏见）、嵌入一致性测试（ECT）、偏见类比测试（BAT）以及隐性偏见测试（KM），用于测量隐性性别偏见。
• 在多样化语料上训练多个阿拉伯语词嵌入模型（Skip-Gram、CBOW、FastText）：阿拉伯语莱比锡新闻语料（2007–2017）、维基百科（百科类）以及用户生成内容。
• 通过在阿拉伯语新闻语料的年度子语料上训练模型，实施历时性分析，以追踪偏见随时间的演变。
• 使用余弦相似度和不同嵌入空间及语料之间偏见分数的统计相关性来度量偏见。
• 使用皮尔逊相关系数评估全语料库偏见（CONC）是否与非重叠年度子语料库的平均偏见（AVG）相关。

实验结果

研究问题

• RQ1 不同的阿拉伯语词嵌入模型（Skip-Gram、CBOW、FastText）和向量大小如何影响生成嵌入中的偏见水平？
• RQ2 在现代标准阿拉伯语（MSA）和埃及阿拉伯语（方言）语料上训练的嵌入之间，偏见水平是否存在显著差异？
• RQ3 阿拉伯语词嵌入中的偏见在新闻、用户生成内容和百科类文本等不同文本类型中如何变化？
• RQ4 在10年时间跨度（2007–2017）内，阿拉伯语新闻嵌入中的隐性性别偏见是否随时间推移而增加？
• RQ5 是否可以通过其非重叠时间子语料库的平均偏见分数，准确预测大规模单体阿拉伯语文本语料中的偏见？

主要发现

• 阿拉伯语新闻嵌入中的隐性性别偏见（KM）从2007年到2017年呈现稳步上升趋势，表明性别与职业/家庭角色之间的刻板关联正在增强。
• 在埃及阿拉伯语语料上训练的嵌入表现出显著高于在现代标准阿拉伯语语料上训练的嵌入的偏见水平，表明方言差异会加剧偏见。
• 在完整阿拉伯语莱比锡新闻语料（2007–2017）中，WEAT测得的显性偏见与各年度子语料偏见分数的平均值高度相关，皮尔逊相关系数为66%。
• 在更大语料上训练的嵌入中，偏见水平通常更高，且用户生成内容中的偏见比百科类文本更为显著，尽管这一差异在其他语言中更为明显。
• AraWEAT框架成功捕捉了语言、模型和时间维度上的多维偏见，表明偏见并非均匀分布，而是动态演变的。
• AraWEAT的公开发布，包括阿拉伯语偏见规范，使得阿拉伯语自然语言处理系统中的偏见评估可复现且可扩展。