[论文解读] Counterfactual Data Augmentation for Mitigating Gender Stereotypes in Languages with Rich Morphology

Ran Zmigrod, Sebastian J. Mielke+2 more|arXiv (Cornell University)|Jun 11, 2019

Natural Language Processing Techniques参考文献 23被引用 10

一句话总结

本文提出了一种基于马尔可夫随机场（MRF）的反事实数据增强方法，可在保留语法正确性的同时，减轻西班牙语和希伯来语等形态丰富的语言中的性别刻板印象。通过在改变语法性别时推断并应用形态-句法一致规则，该方法在西班牙语和希伯多语中分别实现了90%和87%的表层形式准确率，平均将性别刻板印象降低2.5倍，且不损害语法正确性。

ABSTRACT

Gender stereotypes are manifest in most of the world's languages and are consequently propagated or amplified by NLP systems. Although research has focused on mitigating gender stereotypes in English, the approaches that are commonly employed produce ungrammatical sentences in morphologically rich languages. We present a novel approach for converting between masculine-inflected and feminine-inflected sentences in such languages. For Spanish and Hebrew, our approach achieves F1 scores of 82% and 73% at the level of tags and accuracies of 90% and 87% at the level of forms. By evaluating our approach using four different languages, we show that, on average, it reduces gender stereotyping by a factor of 2.5 without any sacrifice to grammaticality.

研究动机与目标

• 解决在包含性别一致性的形态丰富语言语料上训练的NLP系统中的性别刻板印象问题。
• 克服简单性别替换方法在这些语言中产生不合法句子的局限性。
• 开发一种在改变生物名词的语法性别时，自动重新 inflection 整个句子的方法。
• 在反事实数据增强过程中，确保语法正确性，同时保持语义和句法连贯性。
• 在多种语言中进行内在和外在评估，证明该方法在准确率和偏见减少方面的有效性。

提出的方法

• 该方法使用带有可选神经参数化的马尔可夫随机场（MRF），以推断在改变名词语法性别时所需的形态-句法标记变化。
• 它从输入句子中提取语言特征（词基、词性、形态标记），并应用结构化预测模型，以确定所有相关词必须如何重新 inflection。
• 该方法通过建模句子中词语之间的依赖关系，强制执行形态一致性，确保性别代词、形容词和动词得到一致更新。
• 该模型采用四步流水线进行训练和评估：(1) 提取特征，(2) 固定目标名词及其性别，(3) 推断所需的标记变化，(4) 将词基重新 inflection 为新形式。
• 该方法通过生成语法上合法且语义连贯的性别互换句子对，应用于反事实数据增强。
• 外在评估使用神经语言模型来衡量性别刻板印象的减少程度，语法正确性则通过测试短语的对数似然分数进行评估。

实验结果

研究问题

• RQ1 结构化预测模型能否有效推断出在形态丰富语言中实现语法性别反转所需的形态-句法标记变化？
• RQ2 所提出的方法是否能在不引入不合法句子的前提下，减少神经语言模型中的性别刻板印象？
• RQ3 与简单词语替换基线相比，基于MRF的方法在语法正确性和偏见减少方面表现如何？
• RQ4 该方法在西班牙语、希伯来语、意大利语和法语等形态丰富的语言之间具有多大程度的泛化能力？
• RQ5 该模型能否在实现显著性别偏见减少的同时，保持高水平的表层形式重新 inflection 准确率？

主要发现

• 在西班牙语中，该方法在标记级别达到82%的F1分数，表层形式准确率达到90%；在希伯来语中，F1为73%，准确率为87%。
• 平均而言，该方法在四种语言中将神经语言模型中的性别刻板印象降低了2.5倍，降幅范围从意大利语的1.2到西班牙语的5.0不等。
• 与简单替换相比，语法正确性得到保持或提升，MRF方法在除希伯来语外的所有语言中均获得了更高的语法正确性得分。
• 在西班牙语中，该方法将性别刻板印象从基线的6.2（替换）降低至2.0（MRF），同时保持了4.05的语法正确性得分，而替换基线仅为0.25。
• 在内在和外在评估中，该模型均优于简单替换方法，证明在形态丰富的语言中，语法正确性与偏见缓解并非相互排斥。
• 该方法是首个采用结构化、语法感知方法，在形态丰富语言中实现性别互换数据增强，同时保持语言正确性的方法。