[論文レビュー] Mitigating Gender Bias in Machine Translation with Target Gender Annotations

Artūrs Stafanovičs, Toms Bergmanis+1 more|arXiv (Cornell University)|Oct 13, 2020

Natural Language Processing Techniques参考文献 39被引用数 28

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）におけるジェンダーバイアスを低減する手法を提案する。語彙レベルのジェンダー付加情報（ターゲットジェンダーアノテーション、TGA）を学習データに組み込むことで、利用可能な場合にモデルが明示的なジェンダー情報を使用できるようにする。5つの言語対についての実験では、TGAがWinoMTベンチマークの正答率を最大25.8ポイント向上させ、特に市販の共参照解決ツールと組み合わせた場合、ジェンダーステレオタイプへの依存を顕著に低減した。

ABSTRACT

When translating "The secretary asked for details." to a language with grammatical gender, it might be necessary to determine the gender of the subject "secretary". If the sentence does not contain the necessary information, it is not always possible to disambiguate. In such cases, machine translation systems select the most common translation option, which often corresponds to the stereotypical translations, thus potentially exacerbating prejudice and marginalisation of certain groups and people. We argue that the information necessary for an adequate translation can not always be deduced from the sentence being translated or even might depend on external knowledge. Therefore, in this work, we propose to decouple the task of acquiring the necessary information from the task of learning to translate correctly when such information is available. To that end, we present a method for training machine translation systems to use word-level annotations containing information about subject's gender. To prepare training data, we annotate regular source language words with grammatical gender information of the corresponding target language words. Using such data to train machine translation systems reduces their reliance on gender stereotypes when information about the subject's gender is available. Our experiments on five language pairs show that this allows improving accuracy on the WinoMT test set by up to 25.8 percentage points.

研究の動機と目的

• ジェンダーが曖昧なソース文を、文法的ジェンダーを持つ言語に翻訳する際、ニューラル機械翻訳（NMT）システムにおけるジェンダーバイアスを軽減すること。
• ジェンダー情報の取得を翻訳学習タスクから分離し、外部のジェンダー信号を柔軟に統合できるようにすること。
• トレーニング中に明示的なジェンダー付加情報を活用することで、WinoMTのようなバイアスの強い翻訳ベンチマークにおけるNMTパフォーマンスを向上させること。
• TGAが低リソース環境だけでなく、大規模で商業的なNMTシステムにおいても有効であることを示すこと。

提案手法

• ターゲット言語語彙の文法的ジェンダー情報を、対応するソース言語語彙に投影することで、語彙レベルのジェンダー付加情報を生成する。
• 学習データにこれらの付加情報を追加することで、NMTモデルがジェンダー情報を利用可能である場合にそれを学習できるようにする。
• ジェンダー情報の取得とモデルトレーニングを分離するアプローチを採用し、共参照解決ツールなどの多様な外部ソースを活用可能にする。
• TGAを用いたファインチューニングにより、推論時にジェンダーステレオタイプへの依存を低減する。
• 実験では、完全なジェンダーラベル（オラクルアノテーション）と、市販の共参照解決ツール（AllenNLPおよびHugging Face）からの実世界のアノテーションを用いる。
• 性能評価はWinoMTベンチマーク上で実施し、正答率およびΔGやM:F比のようなバイアス指標の改善を測定する。

実験結果

リサーチクエスチョン

• RQ1 ジェンダーが曖昧なソース文を、文法的ジェンダーを持つターゲット言語に翻訳する際、語彙レベルのジェンダー付加情報はNMTシステムにおけるジェンダーバイアスを低減できるか？
• RQ2 市販の共参照解決ツールと組み合わせたTGAは、オラクルアノテーションと比較してどの程度効果的か？
• RQ3 TGAの有効性はトレーニングデータ量に依存するか？また、大規模で商業的なNMTシステムにもスケーラブルか？
• RQ4 TGAを用いることで、ジェンダー情報の取得をモデルトレーニングから分離でき、外部ソースの柔軟な統合が可能になるか？
• RQ5 TGAはWinoMTベンチマークにおいて、特にステレオタイプ的なジェンダー翻訳を低減する点でどの程度パフォーマンスを向上させるか？

主な発見

• オラクルジェンダーアノテーションを用いたTGAは、5つの言語対においてWinoMT正答率を最大25.8ポイント向上させた。
• 特許取得済みの大規模データシステムでは、TGAを用いることでM:F比が7.1ポイント向上し、ΔGが12.5ポイント改善した。
• AllenNLPが提供するジェンダーアノテーションを用いたTGAでは、オラクルアノテーションと比較してWinoMT正答率が4.5～7.1%低下したにとどまり、高い耐性を示した。
• 大規模データシステムでは、TGAを用いた場合のバイアス指標の改善がWMTデータシステムよりも顕著で、TGAが大規模な環境においてより効果的であることを示した。
• 実世界の共参照解決ツールを用いても、オラクルラベルが使えない状況でも、TGAはすべての5つの言語対でベースラインシステムを上回った。
• 本手法により、手作業でデータを整える必要もなく、複雑な再スコアリングを必要としない外部ジェンダー信号の統合が可能となり、実システムへの実用的導入が可能になった。