[论文解读] How to Measure Gender Bias in Machine Translation: Optimal Translators, Multiple Reference Points

Anna Farkas, Renáta Németh|arXiv (Cornell University)|Nov 12, 2020

Hate Speech and Cyberbullying Detection参考文献 13被引用 5

一句话总结

本文提出一种多参考框架，通过将谷歌翻译输出与匈牙利的统计职业分布及社会对性别化职业的认知进行比较，以衡量机器翻译中的性别偏见。研究发现，翻译结果存在显著的性别偏见，女性被错误指派性别的现象尤为突出，且社会对性别的认知规范对翻译结果的影响大于客观统计数据或形容词。

ABSTRACT

In this paper, as a case study, we present a systematic study of gender bias in machine translation with Google Translate. We translated sentences containing names of occupations from Hungarian, a language with gender-neutral pronouns, into English. Our aim was to present a fair measure for bias by comparing the translations to an optimal non-biased translator. When assessing bias, we used the following reference points: (1) the distribution of men and women among occupations in both the source and the target language countries, as well as (2) the results of a Hungarian survey that examined if certain jobs are generally perceived as feminine or masculine. We also studied how expanding sentences with adjectives referring to occupations effect the gender of the translated pronouns. As a result, we found bias against both genders, but biased results against women are much more frequent. Translations are closer to our perception of occupations than to objective occupational statistics. Finally, occupations have a greater effect on translation than adjectives.

研究动机与目标

• 开发一种公平、系统化的机器翻译性别偏见测量方法，超越单一参考基线。
• 通过引入多个参考点，解决何为‘无偏见’翻译尚无共识的问题。
• 评估社会对性别化职业的认知以及客观职业统计数据对翻译结果的影响。
• 研究形容词对翻译句子中代词性别分配的影响。

提出的方法

• 本研究采用谷歌翻译进行匈牙利语到英语的翻译，利用匈牙利语中性代词的特性，以隔离模型本身的偏见。
• 将‘最优翻译器’定义为结合真实职业分布与匈牙利受访者调查所得性别认知的无偏基准。
• 使用多个参考点：(1) 匈牙利与美国职业中的性别分布，以及 (2) 关于职业被认为男性化或女性化的调查数据。
• 通过将模型输出与这些参考点进行比较来量化偏差，将参考点的平均值作为公平性的基线。
• 通过在句子中加入性别化形容词，测试其对翻译中代词性别分配的影响。
• 使用统计比较方法，评估翻译结果更倾向于与社会认知还是客观数据保持一致。

实验结果

研究问题

• RQ1 当将性别中性的源语言翻译为性别化的目标语言时，机器翻译与无偏基准的偏离程度如何？
• RQ2 相较于客观职业统计数据，社会对性别化职业的认知在多大程度上影响了翻译结果？
• RQ3 描述职业的形容词如何影响翻译句子中代词的性别？
• RQ4 翻译更倾向于遵循统计分布还是社会认知这一参考点？
• RQ5 翻译中的偏见是否系统性地针对某一性别，尤其是女性？

主要发现

• 翻译表现出显著的性别偏见，反女性偏见的发生频率远高于反男性偏见。
• 模型输出更接近社会对性别化职业的认知，而非客观职业统计数据。
• 即使职业数据表明性别比例均衡，翻译仍经常为职位名称分配男性代词。
• 描述职业的形容词对代词性别的影响虽可测量，但影响程度小于职位名称本身。
• 本研究证实，机器翻译中的性别偏见并非随机，而是系统性地偏向与男性相关的职业角色。