[论文解读] Gender Bias in Coreference Resolution: Evaluation and Debiasing Methods

Jieyu Zhao, Tianlu Wang+3 more|arXiv (Cornell University)|Apr 18, 2018

Topic Modeling参考文献 20被引用 95

一句话总结

引入 WinoBias，用于衡量规则基、特征基和神经系统在共指消解中的性别偏见；显示偏见确实存在，可以通过数据增强和去偏嵌入在对性能几乎不影响的情况下得到缓解。

ABSTRACT

We introduce a new benchmark, WinoBias, for coreference resolution focused on gender bias. Our corpus contains Winograd-schema style sentences with entities corresponding to people referred by their occupation (e.g. the nurse, the doctor, the carpenter). We demonstrate that a rule-based, a feature-rich, and a neural coreference system all link gendered pronouns to pro-stereotypical entities with higher accuracy than anti-stereotypical entities, by an average difference of 21.1 in F1 score. Finally, we demonstrate a data-augmentation approach that, in combination with existing word-embedding debiasing techniques, removes the bias demonstrated by these systems in WinoBias without significantly affecting their performance on existing coreference benchmark datasets. Our dataset and code are available at http://winobias.org.

研究动机与目标

• 推动研究共指消解中的性别偏见及其潜在的社会影响。
• 创建一个有针对性的基准（WinoBias），使用基于职业的代词来探测符合与反对刻板印象的连结。
• 通过比较不符合与符合刻板印象的条件化在各系统中的差异来量化偏见。
• 提出并评估去偏策略，包括性别互换数据增强和去偏词嵌入，以在保持共指消解准确性的同时降低偏见。

提出的方法

• 用以 40 个职业和性别化代词为核心的两种 Winograd 风格模板来构建 WinoBias。
• 在 OntoNotes 与 WinoBias 上评估三种代表性的共指系统（规则基、特征基和端到端神经网络）。
• 通过检查 OntoNotes 的训练数据来分析偏见来源，包括性别表示和职业提及。
• 提出通过性别互换进行数据增强，以平衡训练数据中的性别相关性。
• 在固定资源上应用去偏技术（去偏嵌入、性别列表），并结合数据增强以降低偏见。
• 表明去偏在 WinoBias 上减少了符合刻板印象与不符合之间的差距，同时在 OntoNotes 上几乎不损失性能。

实验结果

研究问题

• RQ1 共指系统是否存在性别偏见，其在 WinoBias 中对符合刻板印象与不符合之间的职业的性能差异所衡量？
• RQ2 通过性别互换的数据增强和嵌入去偏是否能减少此类偏见而对标准基准的共指准确性影响不大？
• RQ3 在常用训练数据（OntoNotes）中，共指任务的主要偏见来源是什么？
• RQ4 去偏方法如何与不同模型架构（规则基、特征基、神经网络）相互作用以减轻性别偏见？

主要发现

• All three representative systems show a measurable disparity between pro-stereotypical and anti-stereotypical conditions on WinoBias.
• A data-augmentation approach (gender swapping) combined with debiased embeddings and resource debiasing reduces or eliminates the bias signal on WinoBias while maintaining competitive performance on OntoNotes.
• Female entities are underrepresented in OntoNotes, and gender swapping can create balanced auxiliary data to counteract this bias.
• Systems can ignore bias when provided with sufficiently strong alternative cues, indicating bias is not unavoidable when cues are robust.
• The proposed data augmentation plus embedding debiasing approach yields little to no loss on key benchmark datasets, suggesting practical utility for debiasing in coreference.