[论文解读] Evaluating the Diversity, Equity and Inclusion of NLP Technology: A Case Study for Indian Languages

Simran Khanuja, Sebastian Ruder+1 more|arXiv (Cornell University)|May 25, 2022

Speech and dialogue systems被引用 4

一句话总结

本文提出了一种基于多样性、公平性和包容性的NLP技术整体评估框架，使用基尼系数量化语言公平性。该框架应用于印度语言，揭示了模型性能中的显著不公平现象，并提出一种新颖的计算方法，用于在微调过程中实现最优标注预算分配，其表现优于均匀分配或单一来源策略。

ABSTRACT

In order for NLP technology to be widely applicable, fair, and useful, it needs to serve a diverse set of speakers across the world's languages, be equitable, i.e., not unduly biased towards any particular language, and be inclusive of all users, particularly in low-resource settings where compute constraints are common. In this paper, we propose an evaluation paradigm that assesses NLP technologies across all three dimensions. While diversity and inclusion have received attention in recent literature, equity is currently unexplored. We propose to address this gap using the Gini coefficient, a well-established metric used for estimating societal wealth inequality. Using our paradigm, we highlight the distressed state of current technologies for Indian (IN) languages (a linguistically large and diverse set, with a varied speaker population), across all three dimensions. To improve upon these metrics, we demonstrate the importance of region-specific choices in model building and dataset creation, and more importantly, propose a novel, generalisable approach to optimal resource allocation during fine-tuning. Finally, we discuss steps to mitigate these biases and encourage the community to employ multi-faceted evaluation when building linguistically diverse and equitable technologies.

研究动机与目标

• 为解决NLP中多维评估的缺失，提出一种在语言层面评估多样性、公平性和包容性的框架。
• 使用基尼系数量化NLP模型中的语言公平性，该指标传统上用于衡量收入不平等。
• 识别并缓解低资源印度语言中NLP技术的偏见，这些语言语言多样且代表性不足。
• 提出一种数据高效、算法化的最优标注预算分配方法，用于多语言环境下的微调过程。
• 倡导基于社区的、自下而上的数据收集方式以及具有代表性的评估数据集，以提升模型的包容性。

提出的方法

• 作者定义了一种与语言无关的评估范式，通过说话人人口加权的任务性能衡量多样性，通过模型在不同语言间性能的基尼系数衡量公平性，通过模型效率和可部署性衡量包容性。
• 将该框架应用于评估最先进多语言模型在23种印度语言上的四种NLP任务——命名实体识别（NER）、词性标注（POS）、自然语言推理（NLI）和问答（QA）。
• 评估了区域特定预训练以及微调过程中以印地语作为迁移语言的关键建模选择，以提升低资源语言的性能。
• 提出一种新颖的计算方法，用于建模源语言与目标语言之间的空间关系，并推导出在多个源语言间实现最优标注预算分配的策略，以最大化所提指标的性能。
• 该方法使用贪心算法基于预测性能增益分配标注资源，其表现优于均匀分配或单一来源选择策略。
• 研究强调了低资源、基于社区的数据收集的重要性，以及需要具有代表性的评估数据集以追踪进展。

实验结果

研究问题

• RQ1 当前NLP模型在印度语言间的公平性程度如何，语言不公平性又该如何量化？
• RQ2 区域特定预训练和迁移语言选择如何影响低资源印度语言的模型性能？
• RQ3 在固定标注预算下，如何在多个源语言间实现最优分配，以最大化下游性能和包容性？
• RQ4 模型效率和运行时表现如何影响NLP技术在低算力环境中的实际包容性？
• RQ5 基于社区的数据收集在提升评估数据集中语言多样性和代表性方面发挥何种作用？

主要发现

• 基尼系数揭示了印度语言间显著的性能不公平现象，高绩效语言获得了不成比例的模型容量。
• 区域特定预训练模型以及微调过程中以印地语作为迁移语言，在大多数印度语言上均取得了最佳性能。
• 较小的模型在POS标注等句法任务中更高效，而较大的模型在NLI和QA等语义任务中表现更优。
• 所提出的计算标注分配方法在提升多种语言的模型性能方面，优于均匀分配和单一来源数据选择策略。
• 许多官方认可的印度语言缺乏评估数据，凸显了基准测试和进展追踪中的关键缺口。
• 即使采用最优建模选择，当前NLP系统在实现所有印度语言使用者的公平和包容性部署方面仍相去甚远。