[論文レビュー] Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation

Lena Cabrera, Jan Niehues|arXiv (Cornell University)|May 26, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿は、言語に依存しない表現とブリッジ言語の選択が、特に文法的性を有する言語間で保存される性別バイアスにどのように影響するかを調査する。言語に依存しない表現は、ゼロショット翻訳における男性性バイアスを低減することが判明した。また、ドイツ語やスペイン語のような性別に強く依存するブリッジ言語を用いる場合、ピボット翻訳はゼロショット翻訳を上回り、発話者関連の性別一致においてより公平な性別保存を実現する。

ABSTRACT

Neural machine translation (NMT) models often suffer from gender biases that harm users and society at large. In this work, we explore how bridging the gap between languages for which parallel data is not available affects gender bias in multilingual NMT, specifically for zero-shot directions. We evaluate translation between grammatical gender languages which requires preserving the inherent gender information from the source in the target language. We study the effect of encouraging language-agnostic hidden representations on models' ability to preserve gender and compare pivot-based and zero-shot translation regarding the influence of the bridge language (participating in all language pairs during training) on gender preservation. We find that language-agnostic representations mitigate zero-shot models' masculine bias, and with increased levels of gender inflection in the bridge language, pivoting surpasses zero-shot translation regarding fairer gender preservation for speaker-related gender agreement.

研究の動機と目的

• 多言語ニューラル機械翻訳における未学習の言語ペア間のブリッジが、文法的性の保存に特に与える性別バイアスにどのように影響するかを調査すること。
• 未学習の言語ペアにおける性別保存の公平性という観点から、ゼロショット翻訳とピボットベース翻訳を比較すること。
• ピボット言語の性別に依存する度合いが、両翻訳手法における性別バイアスに与える影響を評価すること。
• 言語に依存しない表現による翻訳品質の向上が、ゼロショットモデルにおける性別バイアスを低減するかどうかを評価すること。

提案手法

• 研究では、言語に依存しない隠れ表現を促進する手法を用いて微調整された多言語ニューラル機械翻訳（MNMT）モデルを用いる。
• 未学習の言語ペアに対して、直接的な言語間転送（ゼロショット翻訳）と中間のブリッジ言語を用いた翻訳（ピボットベース翻訳）の両方を評価する。
• ブリッジ言語として英語（性別に依存度が低い）、スペイン語、ドイツ語（性別に依存度が高い）を変更し、それが性別バイアスに与える影響を評価する。
• 参照翻訳に参照的性別および文法的性別が付与されたものに基づき、ターゲット言語における代名詞一致に注目して、性別保存を評価する。
• 言語に依存しない表現を促進するための3つのモデル修正が適用される：敵対的訓練、対照的学習、分離表現学習。
• 評価指標は、翻訳出力における男性性と女性性の性別保存率の比較に焦点を当て、性別バイアスを測定する。

(a) Illustration of the translation between grammatical gender languages (Italian $\leftrightarrow$ French) examined in this work; here, for Italian $\rightarrow$ French translation of the utterance “I felt alienated” . Information necessary to disambiguate gender (bold) was always conveyed by the s

実験結果

リサーチクエスチョン

• RQ1 RQ1: ゼロショット翻訳とピボットベース翻訳は、未学習の翻訳方向において、性別バイアスの強い出力をどのように比較するか？
• RQ2 RQ2: ブリッジ言語は、ゼロショット翻訳およびピボットベース翻訳が継続する性別バイアスに影響を与えるか？
• RQ3 RQ3: ゼロショットモデルの翻訳品質の向上が、その性別バイアスを低減するか？

主な発見

• 英語をブリッジ言語として使用する場合、ゼロショット翻訳はピボット翻訳を上回り、女性性の保存を改善し、あらゆるモデルとアプローチで観察される一貫した男性性バイアスを低減する。
• ドイツ語やスペイン語のような性別に強く依存するブリッジ言語を用いる場合、ピボット翻訳は発話者関連の性別一致におけるよりバランスの取れた性別保存を実現し、ゼロショット翻訳を上回る。
• 言語に依存しない表現は、ゼロショットモデルにおける男性性バイアスを顕著に低減し、両性別の性別保存における公平性を向上させる。
• 敵対的訓練、対照的学習、分離表現学習という3つの言語に依存しない表現を促進する修正は、すべてゼロショットモデルの男性性および女性性の両方の性別保存能力を向上させ、性能の差を縮小した。
• 英語を介してブリッジする場合、言語に依存しない表現を備えたゼロショットモデルは、性別公平性においてピボット翻訳を上回る。これは、連続的表現が離散的ピボットベース手法よりも性別信号をよりよく保存するためである。
• 本研究は、ブリッジ言語の言語的性質、特にその性別に依存する度合いが、多言語翻訳における性別保存の公平性を決定づける重要な役割を果たすことを明らかにした。

(b) The richness of the gender-inflectional system of the bridge language, used to facilitate translation for unseen language pairs, affects models’ ability to preserve the gender information from the source sentence. Scarcity of gender inflection in the bridge language (e.g., English) causes models