[论文解读] HERB: Measuring Hierarchical Regional Bias in Pre-trained Language Models

Yizhi Li, Ge Zhang+5 more|arXiv (Cornell University)|Nov 5, 2022

Ethics and Social Impacts of AI被引用 5

一句话总结

本文提出HERB，一种分层度量方法，通过利用子区域聚类和描述性向量，量化预训练语言模型中区域刻板印象的不一致性，以衡量区域偏见。实验表明，HERB能有效检测并度量多个主题下的分层区域偏见，对词汇选择具有鲁棒性，并与有毒预训练数据相关。

ABSTRACT

Fairness has become a trending topic in natural language processing (NLP), which addresses biases targeting certain social groups such as genders and religions. However, regional bias in language models (LMs), a long-standing global discrimination problem, still remains unexplored. This paper bridges the gap by analysing the regional bias learned by the pre-trained language models that are broadly used in NLP tasks. In addition to verifying the existence of regional bias in LMs, we find that the biases on regional groups can be strongly influenced by the geographical clustering of the groups. We accordingly propose a HiErarchical Regional Bias evaluation method (HERB) utilising the information from the sub-region clusters to quantify the bias in pre-trained LMs. Experiments show that our hierarchical metric can effectively evaluate the regional bias with respect to comprehensive topics and measure the potential regional bias that can be propagated to downstream tasks. Our codes are available at https://github.com/Bernard-Yang/HERB.

研究动机与目标

• 探究预训练语言模型中是否存在区域偏见，特别是与地理聚类相关的偏见。
• 解决现有偏见评估方法未能考虑分层区域结构的缺陷。
• 设计一种基于原理的分层评估度量，以捕捉子区域不一致性，并反映偏见向下游任务的传播。
• 验证该度量对词汇选择变化的鲁棒性，以及其对有毒训练数据的敏感性。

提出的方法

• HERB采用基于模板的方法：'[region]的人是[description]'，从预训练模型生成上下文相关的似然度。
• 引入描述性向量，以捕捉每个描述词在特定区域中的上下文似然度。
• 该方法将区域偏见建模为描述性向量空间中子区域聚类的稀疏性，其中稀疏性越高，表示不一致性和偏见越严重。
• 对子区域应用聚类，以在子区域和更高级别的区域组层次上评估偏见。
• 该度量设计满足两个标准：(1) 利用子区域结构以实现更高级别的评估，(2) 检测同一区域层级内的差异。
• 通过将描述词替换为语义相似的词汇来测试鲁棒性，并测量得分稳定性。

实验结果

研究问题

• RQ1 预训练语言模型中是否存在区域偏见，特别是在考虑区域地理聚类的情况下？
• RQ2 区域偏见是否可以分层结构化，即子区域与它们的更高级别群体相比表现出不一致的判断？
• RQ3 如何定量度量区域偏见，以同时考虑分层区域分组和子区域差异？
• RQ4 所提出的度量对描述词选择变化的鲁棒性如何？
• RQ5 HERB得分能否反映预训练过程中偏见训练数据的整合？

主要发现

• HERB成功检测到分层区域偏见，表明模型在相同高级别区域内的子区域间常分配不一致的似然度，例如英国与欧洲其他国家存在差异。
• 该度量展现出鲁棒性：将描述词替换为语义相似的替代词后，HERB得分变化极小，证实了其可靠性。
• HERB得分与持续预训练中使用的有毒区域偏见句子数量呈正相关，表明其对偏见数据暴露具有敏感性。
• 区域偏见的分层结构不仅存在于表征中，也传播到下游任务，验证了分层评估的必要性。
• RoBERTa和ALBERT等模型在包括外貌、智力和道德在内的多个主题中表现出可测量的区域偏见，极端案例如‘bald’（秃头）被不成比例地关联到某些地区。