[论文解读] Harms of Gender Exclusivity and Challenges in Non-Binary Representation in Language Technologies

Sunipa Dev, Masoud Monajatipoor+4 more|arXiv (Cornell University)|Aug 27, 2021

Natural Language Processing Techniques参考文献 38被引用 4

一句话总结

本文研究了性别排他性语言模型如何通过NLP系统中的偏见表征，持续对非二元性别身份造成伤害。通过调查非二元个体并分析GloVe与BERT嵌入，研究发现数据集和模型中对二元性别的预设导致误指称和代表性不足，尽管BERT在单一‘they’上表现出可分离的表征，但仍通过代词关联任务传播偏见。

ABSTRACT

Gender is widely discussed in the context of language tasks and when examining the stereotypes propagated by language models. However, current discussions primarily treat gender as binary, which can perpetuate harms such as the cyclical erasure of non-binary gender identities. These harms are driven by model and dataset biases, which are consequences of the non-recognition and lack of understanding of non-binary genders in society. In this paper, we explain the complexity of gender and language around it, and survey non-binary persons to understand harms associated with the treatment of gender as binary in English language technologies. We also detail how current language representations (e.g., GloVe, BERT) capture and perpetuate these harms and related challenges that need to be acknowledged and addressed for representations to equitably encode gender information.

研究动机与目标

• 调查将性别视为二元在语言技术中造成的危害，特别是对非二元个体的影响。
• 理解模型与数据集偏见如何在NLP系统中持续导致非二元人群的身份抹除与误指称。
• 分析静态（GloVe）与上下文（BERT）嵌入如何编码并传播非二元性别表征问题。
• 评估语言模型在上下文中区分单一‘they’与复数‘they’的能力，以及这种区分是否导致误指称。

提出的方法

• 对熟悉人工智能的非二元个体开展调查，以识别其在性别表征相关NLP任务中感知到的危害。
• 收集并分析一个平衡的、人工标注的句子数据集，其中包含单一‘they’、‘he’、‘she’与复数‘they’，用于BERT评估。
• 使用余弦相似度与WEAT分数测量性别代词与关联词之间的语义相似度与偏见。
• 将BERT应用于掩码代词预测任务，以评估单一‘they’的表征是否可与复数‘they’及二元代词区分开来。
• 通过标准化的句子模板与掩码代词评估误指称，测量模型在不同性别代词上的预测表现。
• 使用GloVe与BERT分析嵌入空间，检测与非二元关联术语表征质量的差异。

实验结果

研究问题

• RQ1 当前的语言模型如BERT与GloVe在多大程度上错误表征或未能表征非二元代词（如‘they’与‘xe’）？
• RQ2 训练数据与模型架构中的偏见如何导致NLP系统中非二元身份的循环性抹除？
• RQ3 BERT能否在上下文中区分‘they’的单数用法与复数用法？这种区分是否影响误指称结果？
• RQ4 在词嵌入中存在哪些具体的表征差异，导致非二元身份在下游NLP任务中被抹除？
• RQ5 非二元个体如何感知二元性别语言技术在现实应用中的危害？

主要发现

• BERT模型在表征上对单一‘they’与复数‘they’显示出显著较低的相似度，表明其具备一定区分能力，但在下游任务中仍表现出偏见。
• 二元代词与非二元代词之间的WEAT得分为0.2，表明存在可测量但微弱的偏见；而二元词与非二元代理词之间的WEAT得分为0.718，显示出强烈的语义分离。
• ‘they’（单数）与‘he’/‘she’之间的余弦相似度分别为0.395与0.390，而与‘them’的相似度为0.389，表明非二元代词与复数代词未被有意义地区分。
• 非二元代词如‘xe’、‘xem’与‘zir’与二元代词之间的相似度为负值或接近零，表明其在现有嵌入空间中整合不良。
• BERT分类器在区分单一‘they’与复数‘they’方面达到83.3%的准确率，但混淆矩阵显示在上下文模糊时仍存在持续误分类。
• 调查结果显示，非二元个体在NLP系统中频繁遭遇误指称与身份抹除，许多受访者表示当前模型无法识别或尊重其性别认同。