[論文レビュー] Mitigating Gender Bias in Machine Translation through Adversarial Learning

Eve Fleisig, Christiane Fellbaum|arXiv (Cornell University)|Mar 20, 2022

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

この論文は、大規模言語モデルのファインチューニング中にジェンダー敵対的ディスクラミネーターを訓練することで、ニューラル機械翻訳におけるジェンダーバイアスを軽減する敵対的学習フレームワークを提案する。ジェンダー方向と代名詞使用の2つのジェンダー・プローブ手法を用い、翻訳品質全体への影響を最小限に抑えながら、男性・女性エンティティの翻訳におけるジェンダーバイアス差を86–91%まで低減した。

ABSTRACT

Machine translation and other NLP systems often contain significant biases regarding sensitive attributes, such as gender or race, that worsen system performance and perpetuate harmful stereotypes. Recent preliminary research suggests that adversarial learning can be used as part of a model-agnostic bias mitigation method that requires no data modifications. However, adapting this strategy for machine translation and other modern NLP domains requires (1) restructuring training objectives in the context of fine-tuning pretrained large language models and (2) developing measures for gender or other protected variables for tasks in which these attributes must be deduced from the data itself. We present an adversarial learning framework that addresses these challenges to mitigate gender bias in seq2seq machine translation. Our framework improves the disparity in translation quality for sentences with male vs. female entities by 86% for English-German translation and 91% for English-French translation, with minimal effect on translation quality. The results suggest that adversarial learning is a promising technique for mitigating gender bias in machine translation.

研究の動機と目的

• 有害な社会的ステレオタイプを再現するニューラル機械翻訳システムにおけるジェンダーバイアスを是正すること。
• ファインチューニングされた大規模言語モデルに適用可能な、モデルに依存せずデータを必要としないバイアス軽減手法を開発すること。
• ジェンダーが事前にラベル付けされていないNLPタスクにおいて、ジェンダーを保護変数として定義・測定すること。
• 敵対的学習が翻訳における表現的バイアスおよび割り当て的バイアスを低減する効果を評価すること。
• バイアス軽減が全体の翻訳パフォーマンスを低下させないことを保証すること。

提案手法

• ジェンダーを保護変数として推定する2つの手法を導入：語彙埋め込みからのジェンダー部分空間を用いるジェンダー方向法、およびジェンダー付き代名詞の使用パターンを追跡する代名詞使用法。
• ファインチューニング中に、モデルの隠れ表現からジェンダーを予測する敵対的ディスクラミネーターを訓練する。
• 主な翻訳モデルを、敵対的ディスクラミネーターがジェンダーを予測する能力を最小限に抑えるように最適化することで、ジェンダーに依存しない表現を促進する。
• T5ベースのエンコーダー・デコーダー構造を用いた英語→ドイツ語および英語→フランス語翻訳のファインチューニングに、このフレームワークを適用する。
• ステレオタイプ的および反ステレオタイプ的な職業表現の翻訳におけるバイアスを評価するために、WinoMTデータセットを用いる。
• バイアス低減の度合いと翻訳品質を測定するために、F1スコア差と正答率の指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 ジェンダーが事前にラベル付けされていない大規模言語モデルにおいて、ジェンダーを効果的に保護変数として定義・測定する方法は何か？
• RQ2 現代のNLPシステムにおける事前学習/ファインチューニングの枠組みに、敵対的学習を効果的に適応できるか？
• RQ3 敵対的学習は、翻訳品質を低下させることなく、機械翻訳におけるジェンダーバイアスをどの程度低減できるか？
• RQ4 ジェンダー・プローブ手法（ジェンダー方向対代名詞使用）のバイアス低減効果には、どのような違いがあるか？
• RQ5 敵対的学習によるバイアス軽減は、一般化性能や翻訳のロバストネスを向上させるか？

主な発見

• ジェンダー方向法は、英語→ドイツ語翻訳で86%、英語→フランス語翻訳で91%のジェンダーバイアス差を低減した。
• 代名詞使用法は、男性・女性エンティティの翻訳におけるF1スコアの差を低減し、平均で75%のバイアス差低減を達成した。
• 翻訳正答率はほとんどのケースでわずかに向上しており、バイアス軽減による一般化の向上の可能性を示唆している。
• 敵対的学習後、エンティティのジェンダーを翻訳でより正確に保持するようになった。
• BLEUやその他の標準指標において、翻訳品質に顕著な低下が見られず、高い翻訳品質を維持した。
• 両方のジェンダー・プローブ手法とも、割り当て的バイアスおよび表現的バイアスを効果的に低減したが、ジェンダー方向法はより強いが一貫性に欠ける結果を示した。