[論文レビュー] How to Measure Gender Bias in Machine Translation: Optimal Translators, Multiple Reference Points

Anna Farkas, Renáta Németh|arXiv (Cornell University)|Nov 12, 2020

Hate Speech and Cyberbullying Detection参考文献 13被引用数 5

ひとこと要約

本稿では、ハンガリーにおける職業の統計的分布と社会的性別認識を基準として、Google Translateの出力を比較することで、機械翻訳における性別バイアスを測定するマルチリファレンスフレームワークを提案する。翻訳結果には顕著な性別バイアスが見られ、女性が著しく誤って性別指定される傾向にあり、また、客観的統計や形容詞よりも、性別に関する社会的認識が翻訳結果に大きな影響を与えていることが判明した。

ABSTRACT

In this paper, as a case study, we present a systematic study of gender bias in machine translation with Google Translate. We translated sentences containing names of occupations from Hungarian, a language with gender-neutral pronouns, into English. Our aim was to present a fair measure for bias by comparing the translations to an optimal non-biased translator. When assessing bias, we used the following reference points: (1) the distribution of men and women among occupations in both the source and the target language countries, as well as (2) the results of a Hungarian survey that examined if certain jobs are generally perceived as feminine or masculine. We also studied how expanding sentences with adjectives referring to occupations effect the gender of the translated pronouns. As a result, we found bias against both genders, but biased results against women are much more frequent. Translations are closer to our perception of occupations than to objective occupational statistics. Finally, occupations have a greater effect on translation than adjectives.

研究の動機と目的

• 単一リファレンスベースラインを超えた、公平で体系的な機械翻訳における性別バイアス測定法の開発。
• 「バイアスなし」とされる翻訳の基準に合意が得られないという問題に対処するため、複数の基準点を導入。
• 社会的性別認識と客観的職業統計が翻訳結果に与える影響の評価。
• 形容詞が翻訳文における代名詞の性別の割り当てに与える影響の調査。

提案手法

• 本研究では、ハンガリー語から英語への翻訳をGoogle Translateを用いて実施し、ハンガリー語の性別中立的代名詞の特徴を活かしてモデルバイアスを隔離する。
• 「最適な翻訳者」とは、実際の職業分布とハンガリー住民からのアンケートに基づく性別認識の両方を用いて、バイアスのないベンチマークとして定義される。
• 複数の基準点を用いる：(1) ハンガリーおよび米国の職業における性別分布、(2) 職業の性別的性向（男性的／女性的）に対する認識のアンケートデータ。
• モデル出力をこれらの基準点と比較することで乖離度を定量化し、基準点の平均値を公平性の基準として扱う。
• 翻訳における代名詞の割り当てに与える影響をテストするため、性別を示す形容詞を文に追加する。
• 統計的比較を用いて、翻訳結果が社会的認識と客観的データのどちらにより近いかを評価する。

実験結果

リサーチクエスチョン

• RQ1 性別中立的言語を性別のある言語に翻訳する際、機械翻訳がバイアスのないベンチマークからどの程度逸脱するか？
• RQ2 職業の性別認識と客観的職業統計の両方を比較した場合、社会的認識が翻訳結果に与える影響はどの程度か？
• RQ3 職業を描写する形容詞が、翻訳文における代名詞の性別にどのような影響を与えるか？
• RQ4 統計的分布と社会的認識のどちらの基準点に翻訳結果がより近いのか？
• RQ5 翻訳におけるバイアスは、特に女性に対して系統的に不利益をもたらすのか？

主な発見

• 翻訳には顕著な性別バイアスが見られ、女性を標的にするバイアスが男性を標的にするバイアスよりもはるかに頻発している。
• モデルの出力は、客観的職業統計よりも、職業の性別認識により近い。
• 職業データに男女比のバランスが見られる場合でも、翻訳は頻繁に男性代名詞を職業名に割り当てる。
• 職業を描写する形容詞は、職業名そのものに比べて代名詞の性別に影響を与えるが、その影響は小さい。
• 本研究では、機械翻訳における性別バイアスがランダムではなく、男性に結びつく役割を系統的に優遇する傾向にあることが確認された。