[論文レビュー] Gender Bias in Multilingual Neural Machine Translation: The Architecture Matters

Marta R. Costa‐jussà, Carlos Escolano+4 more|arXiv (Cornell University)|Dec 24, 2020

Natural Language Processing Techniques参考文献 34被引用数 8

ひとこと要約

本稿は、多言語ニューラル機械翻訳（MNMT）アーキテクチャがジェンダーバイアスに与える影響を調査し、同じデータで学習した場合、共有エンコーダ・デコーダーよりも言語固有のエンコーダ・デコーダーがジェンダーバイアスをより効果的に低減することを発見した。この改善は、特にロシア語のような低リソース言語を含む場合、ソース埋め込みにおけるジェンダー情報の保持度の向上と、言語固有の設定におけるより多様化した注意メカニズムに起因する。

ABSTRACT

Multilingual Neural Machine Translation architectures mainly differ in the amount of sharing modules and parameters among languages. In this paper, and from an algorithmic perspective, we explore if the chosen architecture, when trained with the same data, influences the gender bias accuracy. Experiments in four language pairs show that Language-Specific encoders-decoders exhibit less bias than the Shared encoder-decoder architecture. Further interpretability analysis of source embeddings and the attention shows that, in the Language-Specific case, the embeddings encode more gender information, and its attention is more diverted. Both behaviors help in mitigating gender bias.

研究の動機と目的

• 同じデータで学習した場合、多言語ニューラル機械翻訳（MNMT）アーキテクチャがジェンダーバイアスに与える影響を調査すること。
• 多言語翻訳における共有型と言語固有型エンコーダ・デコーダアーキテクチャの間でのジェンダーバイアスレベルを比較すること。
• ジェンダーバイアス低減の差異を引き起こす内部メカニズム（特にソース埋め込みと注意）を分析すること。
• 手動分析を通じて、翻訳エラーにおける持続的ジェンダーバイアスの言語的・文化的要因を明らかにすること。

提案手法

• 本研究は、2つのMNMTアーキテクチャを評価する：共有エンコーダ・デコーダ（全言語に共通のユニバーサルモデル）と、言語固有のエンコーダ・デコーダ（言語ごとに独立したモデル、パラメータ共有なし）。
• 実験は、EuroParlおよびYandexの並列コーパスを用いて、英語–ドイツ語、英語–スペイン語、英語–フランス語、英語–ロシア語の4つの言語対で実施された。
• ジェンダーバイアスは、標準的なWinoMTベンチマークを用いて測定され、翻訳におけるジェンダー付き職業用語の誤分類度を評価した。
• 解釈可能性分析は、ソース埋め込みに符号化されたジェンダー情報と、注意メカニズムの変動係数の観察を通じて実施された。
• 注意の変動係数は、注意のカバー範囲の多様性を評価するために用いられ、高い値はより広範な文脈利用を示す。
• 誤訳された職業用語の手動分析を通じて、特にジェンダー付き語尾や使用習慣に起因する言語的・文化的要因によるバイアスの原因を特定した。

実験結果

リサーチクエスチョン

• RQ1 MNMTアーキテクチャの選択（特に共有型対言語固有型）が、翻訳におけるジェンダーバイアスの度合いに影響を与えるか？
• RQ2 異なるアーキテクチャにおけるソース埋め込みがジェンダー情報をどのように符号化しているか、そしてそれがジェンダーバイアスに与える影響は何か？
• RQ3 注意メカニズムの挙動（例：カバー範囲と分布）が、アーキテクチャ間でどのように異なり、ジェンダーバイアスに影響を与えるか？
• RQ4 どのような言語的・文化的要因が、特に職業用語において持続的ジェンダーバイアスを生じさせているか？
• RQ5 ロシア語のような低リソースでインド・ヨーロッパ語族に属さない言語を含めると、ジェンダーバイアスとアーキテクチャのパフォーマンスにどのような影響が生じるか？

主な発見

• 言語固有のエンコーダ・デコーダは、共有エンコーダ・デコーダよりも顕著に低いジェンダーバイアスを示し、ロシア語が多言語設定に含まれるようになると、性能差が拡大する。
• 言語固有アーキテクチャにおけるソース埋め込みは、共有アーキテクチャに比べてより多くのジェンダー情報を符号化しており、これによりジェンダー予測が向上する。
• 言語固有モデルの注意メカニズムは、変動係数がより高いことを示しており、共有モデルよりも広範かつ多様化した注意のカバー範囲を示している。
• 誤訳の多くは、特にロマンス諸語（スペイン語・フランス語）において、ジェンダー付き職業用語に男性形を割り当てる傾向にあり、歴史的に優位であるか、または標準形として使用されている。
• 手動分析により、文化的規範や言語的語形（例：フランス語における男性形の標準形、ドイツ語におけるジェンダー接尾辞）が、特に「看護師」や「事務職員」などの職業で多くの持続的エラーを生じさせていることが明らかになった。
• 女性形を誤って翻訳するエラーはまれであり、多くは意味的混乱に起因しており、特にロシア語では「技術者」を物理学用語「механика」（メカニカ）に誤訳するなど、職業用語とは異なる意味での解釈が原因である。