[论文解读] Fairness in Language Models Beyond English: Gaps and Challenges

Krithika Ramesh, Sunayana Sitaram+1 more|arXiv (Cornell University)|Feb 24, 2023

Social Policy and Reform Studies被引用 4

一句话总结

本文综述了多语言及非英语语言模型中的公平性挑战，强调了在英语之外缺乏包容性的偏见评估与缓解方法。文章指出，当前基于数据集的方法无法在不同语言和文化间有效扩展，呼吁在多语言自然语言处理中建立交叉性、跨学科且植根于文化的公平性框架。

ABSTRACT

With language models becoming increasingly ubiquitous, it has become essential to address their inequitable treatment of diverse demographic groups and factors. Most research on evaluating and mitigating fairness harms has been concentrated on English, while multilingual models and non-English languages have received comparatively little attention. This paper presents a survey of fairness in multilingual and non-English contexts, highlighting the shortcomings of current research and the difficulties faced by methods designed for English. We contend that the multitude of diverse cultures and languages across the world makes it infeasible to achieve comprehensive coverage in terms of constructing fairness datasets. Thus, the measurement and mitigation of biases must evolve beyond the current dataset-driven practices that are narrowly focused on specific dimensions and types of biases and, therefore, impossible to scale across languages and cultures.

研究动机与目标

• 识别并分析与占主导地位的盎格鲁中心主义焦点相比，非英语及多语言自然语言处理语境下公平性研究的缺失。
• 探讨跨语言和文化的语言与文化多样性如何削弱现有偏见测量与缓解技术的可扩展性与有效性。
• 突出当前公平性度量标准与数据集在捕捉非英语语言中交叉身份与社会文化细微差别方面的局限性。
• 倡导组建跨学科、多文化的团队以及开发文化敏感的评估基准，以提升多语言语言模型的公平性。
• 呼吁从基于数据集的、狭隘的偏见评估转向全面、情境敏感的公平性评估，以兼顾语言差异与权力结构。

提出的方法

• 对多语言及非英语自然语言处理中的公平性文献进行全面调查，重点关注偏见测量与缓解策略。
• 将偏见类型分类为表征性伤害与分配性伤害，强调其在不同语言与文化中的表现差异。
• 分析现有公平性度量标准（如 WEAT 和 SEAT），同时批判其在捕捉偏见的交叉性与文化维度方面的局限性。
• 评估在公平性关键应用中使用零样本翻译与直接数据集翻译的风险，因其存在文化与语言错配问题。
• 提出需要共享的价值体系与文化敏感的模型设计，以反映多样化的社会文化语境，尤其是在低资源语言与语法性别化语言中。
• 建议使用交叉性公平性度量标准与人机协同评估，以确保偏见评估的有效性与可靠性。

实验结果

研究问题

• RQ1 与以英语为中心的系统相比，语言模型在非英语及多语言语境下的表征性伤害与分配性伤害有何不同？
• RQ2 为何当前的公平性度量标准（如 WEAT 和 SEAT）不足以捕捉多语言与文化多样性环境中的偏见？
• RQ3 在低资源语言与语法性别化语言中，创建可扩展、文化敏感的公平性评估基准面临哪些关键挑战？
• RQ4 语言差异（如方言、音系与句法结构）如何导致多语言语言模型中的偏见？
• RQ5 跨学科与多文化团队在识别与缓解多语言自然语言处理系统中偏见方面可发挥何种作用？

主要发现

• 大多数自然语言处理中的公平性研究仍以盎格鲁中心主义为主导，对非英语及多语言语境关注甚少，尽管语言使用者具有全球多样性。
• 现有公平性度量标准（如 WEAT 和 SEAT）易受操纵，且无法捕捉偏见中的交叉性身份或文化细微差别。
• 在公平性评估中使用零样本翻译与直接数据集翻译往往无法保留文化语境，导致误导性或低效的偏见缓解。
• 训练数据中的偏见根深蒂固，模型反映出人口统计不平衡，以及非英语语料中边缘化群体的代表性不足。
• 缺乏多样且高质量的非英语语言公平性基准，严重限制了公平性干预措施的可扩展性与泛化能力。
• 当前的公平性方法不足以应对多语言系统中的分配性伤害，尤其在低资源与社会文化复杂的情境中。