[论文解读] Is Machine Learning Speaking my Language? A Critical Look at the NLP-Pipeline Across 8 Human Languages

Esma Wali, Yan Chen+5 more|arXiv (Cornell University)|Jul 11, 2020

Topic Modeling参考文献 18被引用 10

一句话总结

本文批判性地审视了英语、中文、乌尔都语、波斯语、阿拉伯语、法语、西班牙语和沃洛夫语八种语言的NLP流程，揭示尽管具备技术上的多语言支持，系统性地代表性不足的问题依然存在，原因在于数据偏见和语言不平等。作者证明，即使语言在技术上被支持，NLP系统仍会放大主导语言的声音，同时边缘化其他语言，从而损害人工智能驱动决策中的公平性。

ABSTRACT

Natural Language Processing (NLP) is increasingly used as a key ingredient in critical decision-making systems such as resume parsers used in sorting a list of job candidates. NLP systems often ingest large corpora of human text, attempting to learn from past human behavior and decisions in order to produce systems that will make recommendations about our future world. Over 7000 human languages are being spoken today and the typical NLP pipeline underrepresents speakers of most of them while amplifying the voices of speakers of other languages. In this paper, a team including speakers of 8 languages - English, Chinese, Urdu, Farsi, Arabic, French, Spanish, and Wolof - takes a critical look at the typical NLP pipeline and how even when a language is technically supported, substantial caveats remain to prevent full participation. Despite huge and admirable investments in multilingual support in many tools and resources, we are still making NLP-guided decisions that systematically and dramatically underrepresent the voices of much of the world.

研究动机与目标

• 调查多语言NLP流程在工具支持日益增强的背景下，为何仍系统性地代表性不足非主导语言。
• 识别阻碍非主流语言使用者在NLP系统中实现公平参与的语言和技术创新障碍。
• 强调NLP偏见在高风险决策系统（如简历筛选）中的现实后果。
• 通过来自不同语言母语者的直接参与，倡导在NLP开发中采用参与式、语言包容性设计。

提出的方法

• 使用八种由母语研究人员使用的语言，对标准NLP流程进行跨语言分析。
• 评估每种语言在训练数据、分词和下游NLP任务中的代表性。
• 采用定性和定量方法评估NLP工具（如spaCy、Hugging Face）在不同语言中的表现，以检测差异。
• 收集母语者的见解，以评估NLP输出在语言和文化上的保真度。
• 将流程阶段（分词、嵌入、分类）进行映射，以识别语言偏见的引入位置。
• 运用参与式设计原则，与母语语言专家共同评估系统性能。

实验结果

研究问题

• RQ1 当前的NLP流程在基本分词之外，能在多大程度上支持非主导语言？
• RQ2 语言和文化差异如何影响不同语言在NLP系统中的性能与公平性？
• RQ3 NLP工具和数据中嵌入了哪些系统性偏见，导致某些语言的代表性不足？
• RQ4 母语者如何能对多语言NLP系统的评估与改进做出有意义的贡献？
• RQ5 NLP偏见在高风险应用场景（如招聘与录用）中会产生哪些现实影响？

主要发现

• 即使语言在技术上被支持，NLP系统仍常因数据稀缺和模型偏见而无法捕捉其语言细微差别。
• 尽管被纳入多语言工具包，沃洛夫语、乌尔都语和波斯语的NLP性能相比英语和中文显著下降。
• 分词和子词分割方法常错误表示形态丰富的语言，导致下游任务准确率下降。
• 母语者识别出NLP输出中对非母语评估者而言不可见的关键文化与句法错配。
• 本研究发现，多语言NLP工具即使在官方支持的语言中，也放大了主导语言使用者的声音，同时边缘化其他语言使用者。
• 通过与母语者共同参与的评估，发现了此前未被察觉的模型行为和数据整理实践中的偏见。