[論文レビュー] Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer

Jieyu Zhao, Subhabrata Mukherjee+3 more|arXiv (Cornell University)|May 2, 2020

Topic Modeling参考文献 32被引用数 7

ひとこと要約

本稿は、多言語埋め込みにおける性別バイアスおよびそのクロスリンガル転移学習中の拡散を調査する。内在的および外在的バイアス指標を提案し、性別に豊富な言語へのアライメントがバイアスを低減することを示し、M-BERTがターゲット言語に応じてバイアスを保持または増幅することを明らかにした。また、下流NLPタスクにおける実用的なバイアス低減戦略を提示する。

ABSTRACT

Multilingual representations embed words from many languages into a single semantic space such that words with similar meanings are close to each other regardless of the language. These embeddings have been widely used in various settings, such as cross-lingual transfer, where a natural language processing (NLP) model trained on one language is deployed to another language. While the cross-lingual transfer techniques are powerful, they carry gender bias from the source to target languages. In this paper, we study gender bias in multilingual embeddings and how it affects transfer learning for NLP applications. We create a multilingual dataset for bias analysis and propose several ways for quantifying bias in multilingual representations from both the intrinsic and extrinsic perspectives. Experimental results show that the magnitude of bias in the multilingual representations changes differently when we align the embeddings to different target spaces and that the alignment direction can also have an influence on the bias in transfer learning. We further provide recommendations for using the multilingual word representations for downstream tasks.

研究の動機と目的

• 単語埋め込みにおける性別バイアスが多言語アライメントおよびクロスリンガル転移の過程でどのように伝播するかを理解すること。
• 複数の言語に適用可能な内在的および外在的バイアス測定法の開発。
• アライメントターゲット（例：英語対性別に豊富な言語）が多言語埋め込みにおけるバイアスに与える影響の評価。
• M-BERTなどの文脈依存モデルが言語や転移方向に応じてどのようにバイアスを示すかの評価。
• 多言語NLPシステムにおけるバイアス低減のための実行可能な推奨事項の提供。

提案手法

• 内在的および外在的バイアス評価のため、英語、スペイン語、ドイツ語、フランス語をカバーする多言語バイアス分析データセットを構築した。
• 多言語埋め込み空間における性別語の関連性に基づく内在的バイアス指標を提案した。
• 転移学習を用いた外在的バイアス評価：英語で学習し、他の言語でテストする。性別バランスの取れたデータとバランスの取れていないデータを用いる。
• 語彙的関連性テスト（WEAT）および職業語における性別分類精度を用いてバイアスを評価した。
• 敵対的デバイアス化を用いてバイアス低減を実施。埋め込みをよりバイアスの少ない参照空間（例：ENDEB）にアライメントさせた。
• 複数の言語間転移方向において、fastTextベースの多言語埋め込みとM-BERTの間で性能およびバイアスを比較した。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みにおける性別バイアスは、アライメント後に多言語埋め込みにどのように現れるか？
• RQ2 アライメントターゲットの選択（例：英語対性別に豊富な言語）が多言語表現におけるバイアスに与える影響はいかほどか？
• RQ3 多言語埋め込みにおけるバイアスは、下流のクロスリンガル転移学習タスクにどの程度伝播するか？
• RQ4 M-BERTのような文脈依存モデルは、静的多言語埋め込みと比較して、バイアスおよび性能の面でどのように異なるか？
• RQ5 単純な低減技術は、転移性能を損なわせることなく、多言語埋め込みにおけるバイアスを低減できるか？

主な発見

• 多言語埋め込みにおけるバイアスは、アライメントターゲットに大きく依存しており、性別に豊富な言語（例：スペイン語）へのアライメントが、英語へのアライメントよりもバイアスをより効果的に低減することが分かった。
• 多言語埋め込みを用いた転移学習モデルは測定可能な性別バイアスを示しており、フランス語データにおける性別分類精度の平均絶対差は8.75であった（表11）。
• 学習コーパスを性別バランスにした場合でさえもバイアスが残っていたことから、バイアスはデータと埋め込み表現の両方の要因に起因することが示された。
• 埋め込みを性別に豊富な言語にアライメントすることで、下流タスクにおけるバイアスが低減した。EN→ES転移ではバイアス差が4.16（表8）であったのに対し、英語にアライメントした場合は5.48であった。
• M-BERTはfastText埋め込みよりも全体的な性能が優れていたが、一部の転移方向（例：EN→FRで|diff| = 8.97）ではバイアスが高かった。これは、性能と公平性の間のトレードオフを示している。
• よりバイアスの少ない参照空間（例：ENDEB）に埋め込みをアライメントすることでバイアス低減を実施したが、これはデバイアス化技術が多言語環境でも有効であることを示した。