[论文解读] Gender Bias in Text: Labeled Datasets and Lexicons

Jad Doughman, Wael Khreich|arXiv (Cornell University)|Jan 21, 2022

Gender Studies in Language被引用 4

一句话总结

本文介绍了一个公开可用的标注数据集和词典集合，用于检测英语文本中的性别偏见，采用了一种增强的分类体系，包含四种偏见子类型：泛指他（Generic He）、泛指她（Generic She）、性别显式标记（Explicit Marking of Sex）以及性别化新词（Gendered Neologisms）。作者结合自动化数据检索、高评分者间一致性（Krippendorff’s alpha = 0.75）的人工标注，以及基于词嵌入的词典增强方法，构建了可用于监督与非监督自然语言处理模型检测和缓解性别偏见的资源。

ABSTRACT

Language has a profound impact on our thoughts, perceptions, and conceptions of gender roles. Gender-inclusive language is, therefore, a key tool to promote social inclusion and contribute to achieving gender equality. Consequently, detecting and mitigating gender bias in texts is instrumental in halting its propagation and societal implications. However, there is a lack of gender bias datasets and lexicons for automating the detection of gender bias using supervised and unsupervised machine learning (ML) and natural language processing (NLP) techniques. Therefore, the main contribution of this work is to publicly provide labeled datasets and exhaustive lexicons by collecting, annotating, and augmenting relevant sentences to facilitate the detection of gender bias in English text. Towards this end, we present an updated version of our previously proposed taxonomy by re-formalizing its structure, adding a new bias type, and mapping each bias subtype to an appropriate detection methodology. The released datasets and lexicons span multiple bias subtypes including: Generic He, Generic She, Explicit Marking of Sex, and Gendered Neologisms. We leveraged the use of word embedding models to further augment the collected lexicons.

研究动机与目标

• 解决英语文本中性别偏见检测缺乏代表性、已标注数据集和词典的问题。
• 通过重新形式化其结构、增加一种新型偏见类型（性别化新词），并将子类型映射到自动化检测方法，改进现有性别偏见分类体系。
• 收集、标注并增强一组具有代表性的句子和术语，以支持机器学习和基于自然语言处理的性别偏见检测。
• 提供公开可访问的资源，以实现文本内容中性别偏见的自动化检测与缓解。
• 通过结构化指南和使用Krippendorff’s alpha验证，提升偏见标注的评分者间一致性。

提出的方法

• 使用信息检索和过滤技术，针对特定偏见子类型检索潜在的偏见句子。
• 由九名研究生水平的标注员基于优化后的分类体系和标注示例对句子进行标注，确保清晰性和一致性。
• 计算Krippendorff’s alpha（0.75）以验证评分者间一致性，并确保对标注标准的共同理解。
• 从Urban Dictionary中筛选性别化新词，过滤包含性别排他性子串（如'man'）的术语，并要求至少100个赞以确保社区认可。
• 人工标注最终的500个术语为排他性，依据其定义，确保相关性与偏见检测的准确性。
• 利用词嵌入模型增强词典，以提升自然语言处理流水线中覆盖范围和检测性能。

实验结果

研究问题

• RQ1 如何形式化一个全面且结构化的性别偏见子类型分类体系，以支持自然语言处理中的自动化检测？
• RQ2 在标注文本中多样的性别偏见形式时，人工标注的评分者间一致性如何？
• RQ3 如何系统性地识别并从用户生成内容中提取性别化新词——即新创的、具有偏见的术语？
• RQ4 词嵌入模型在多大程度上能提升性别偏见词典的覆盖范围和鲁棒性？
• RQ5 何种方法论流程能确保高质量、具有代表性且公开可访问的性别偏见检测数据集？

主要发现

• 标注过程的评分者间一致性经Krippendorff’s alpha评分（0.75）确认，表明标注指南具有高度一致性与清晰性。
• 最终数据集包含500个经人工标注的性别化新词，这些词从Urban Dictionary中筛选得出，条件为包含性别排他性子串并获得至少100个赞。
• 作者成功收集并标注了涵盖四种性别偏见子类型的代表性句子：泛指他（Generic He）、泛指她（Generic She）、性别显式标记（Explicit Marking of Sex）以及性别化新词（Gendered Neologisms）。
• 使用词嵌入模型有效增强了词典，提升了其在下游自然语言处理任务中的覆盖范围。
• 本研究生成了公开可访问的已标注数据集和详尽的词典，填补了英语文本性别偏见检测资源中的关键空白。
• 改进后的分类体系现包含一种新型偏见类型——性别化新词（Gendered Neologisms），并整合了重构的子类型及映射的检测方法。