[论文解读] Evaluating Bias In Dutch Word Embeddings

Rodrigo Alejandro Chávez Mulsa, Gerasimos Spanakis|arXiv (Cornell University)|Oct 31, 2020

Hate Speech and Cyberbullying Detection参考文献 28被引用 11

一句话总结

本文通过将基于英语的方法适配至荷兰语，评估了荷兰语词向量中的性别偏见，应用WEAT、聚类和SEAT方法量化了传统模型与上下文感知模型中的偏见。研究发现，如Hard-Debias和Sent-Debias等偏见缓解技术虽能减少偏见，但在上下文感知模型中导致约2%的性能下降。研究还发布了可公开使用的荷兰语翻译数据集与去偏词向量。

ABSTRACT

Recent research in Natural Language Processing has revealed that word embeddings can encode social biases present in the training data which can affect minorities in real world applications. This paper explores the gender bias implicit in Dutch embeddings while investigating whether English language based approaches can also be used in Dutch. We implement the Word Embeddings Association Test (WEAT), Clustering and Sentence Embeddings Association Test (SEAT) methods to quantify the gender bias in Dutch word embeddings, then we proceed to reduce the bias with Hard-Debias and Sent-Debias mitigation methods and finally we evaluate the performance of the debiased embeddings in downstream tasks. The results suggest that, among others, gender bias is present in traditional and contextualized Dutch word embeddings. We highlight how techniques used to measure and reduce bias created for English can be used in Dutch embeddings by adequately translating the data and taking into account the unique characteristics of the language. Furthermore, we analyze the effect of the debiasing techniques on downstream tasks which show a negligible impact on traditional embeddings and a 2% decrease in performance in contextualized embeddings. Finally, we release the translated Dutch datasets to the public along with the traditional embeddings with mitigated bias.

研究动机与目标

• 调查荷兰语传统与上下文感知词向量中性别偏见的存在及其程度。
• 评估基于英语的偏见测量与缓解技术在荷兰语语言特征（如代词'zij'（她/他们））下的适用性。
• 评估偏见缓解对下游自然语言处理任务的影响，特别是性能下降的问题。
• 发布翻译后的荷兰语偏见评估数据集与去偏词向量，以支持可复现性与进一步研究。

提出的方法

• 通过翻译英语测试集并保持语义结构，将词向量关联测试（WEAT）与句子向量关联测试（SEAT）适配至荷兰语。
• 对传统与上下文感知的荷兰语词向量应用Hard-Debias与Sent-Debias缓解技术，以减少性别偏见。
• 通过聚类分析评估偏见在WEAT基底缓解后是否依然存在，揭示了替代性偏见检测路径。
• 在关系识别任务与情感分析任务上评估去偏模型的性能，以衡量其对下游任务的影响。
• 翻译并整理了特定于荷兰语的性别化词对，确保在去偏过程中准确体现如'zij'（她/他们）等性别化术语。
• 采用上下文感知模型BERTJe与RoBert，通过使用荷兰语特定的句子模板应用Sent-Debias，以减少上下文感知表示中的性别偏见。

实验结果

研究问题

• RQ1 荷兰语上下文感知词向量是否对性别偏见敏感，其偏见程度与传统荷兰语词向量相比如何？
• RQ2 在考虑语言差异（如代词歧义）的前提下，基于英语的偏见测量与缓解技术能否有效适配至荷兰语词向量？
• RQ3 偏见缓解对下游自然语言处理任务的影响如何，特别是在传统与上下文感知模型中性能下降的程度？

主要发现

• 性别偏见存在于传统与上下文感知的荷兰语词向量中，WEAT测试中的效应量表明偏见显著（p ≤ 0.05 或 p ≤ 0.01）。
• Hard-Debias与Sent-Debias在WEAT与SEAT测量中均减少了偏见，但聚类分析显示偏见依然存在，表明仅靠WEAT不足以实现全面偏见检测。
• 传统词向量的去偏处理对其下游任务性能影响可忽略，基本保持不变。
• 上下文感知词向量（BERTJe与RoBert）在Sent-Debias后性能下降约2%，表明公平性与准确性之间存在权衡。
• 尽管已进行缓解，上下文感知模型中仍存在偏见，表明这些模型中的性别子空间更为复杂，需更强或更定制化的缓解方法。
• 本研究证明，通过适当的翻译与语言适应，基于英语的偏见评估与缓解方法可有效适配至荷兰语，尤其在处理如'zij'等歧义代词时。