[論文レビュー] Examining Gender Bias in Languages with Grammatical Gender

Pei Zhou, Weijia Shi+5 more|arXiv (Cornell University)|Sep 5, 2019

Natural Language Processing Techniques参考文献 23被引用数 6

ひとこと要約

本稿では、スペイン語やフランス語などの文法的性別を持つ言語の単語埋め込み、およびそれらを英語にアライメントする二言語埋め込みにおける性別バイアスのための新しい指標と緩和手法を提案する。文脈的性別と文法的性別の方向性を区別することで、埋め込みの有用性を保ちつつバイアスを低減するハイブリッドデバイアス化アプローチを開発し、語の類似度、翻訳、関連性タスクにおいて顕著なバイアス低減効果を達成した。

ABSTRACT

Recent studies have shown that word embeddings exhibit gender bias inherited from the training corpora. However, most studies to date have focused on quantifying and mitigating such bias only in English. These analyses cannot be directly extended to languages that exhibit morphological agreement on gender, such as Spanish and French. In this paper, we propose new metrics for evaluating gender bias in word embeddings of these languages and further demonstrate evidence of gender bias in bilingual embeddings which align these languages with English. Finally, we extend an existing approach to mitigate gender bias in word embeddings under both monolingual and bilingual settings. Experiments on modified Word Embedding Association Test, word similarity, word translation, and word pair translation tasks show that the proposed approaches effectively reduce the gender bias while preserving the utility of the embeddings.

研究の動機と目的

• 文法的性別を持つ言語（例：スペイン語、フランス語）の単語埋め込みにおける性別バイアスを特定・定量化すること。これは、従来の英語中心のバイアス定義が、語形一致の要因により機能しないためである。
• 性別言語（例：スペイン語、フランス語）と英語をアライメントする二言語単語埋め込みにおいて、性別バイアスがどのように引き継がれるかを分析すること。
• 文法的性別（語形一致）と意味的性別（ステレオタイプ的関連）を区別する新しい評価指標を開発すること。
• 意味的有用性を保ちつつ、単語埋め込みおよび二言語埋め込みにおけるステレオタイプ的性別バイアスを低減するデバイアス化手法を提案・評価すること。
• 単語埋め込みのデバイアス化と対言語アライメントを組み合わせたハイブリッドアプローチが、二言語設定において効果的にバイアス低減を達成できることを示すこと。

提案手法

• 2つの性別方向を定義する：意味的性別（例：'hombre'／'mujer' などの性別定義語対を主成分分析（PCA）で処理）と文法的性別（例：'agua'／'mesa' などの男性/女性名詞対）。
• 修正版単語埋め込み関連テスト（MWEAT）を用いて、職業語と性別用語の両方の方向性における関連強度を測定することで、バイアスを定量化する。
• 2つのデバイアス化戦略を提案する：(1) アンカー点を基準に、語ベクトルを意味的性別方向にシフトする方法、(2) もともとの英語埋め込みをまずデバイアス化し、その後ターゲット言語にアライメントする方法。
• 両方の戦略を統合したハイブリッド手法（Hybrid_Ori）を構築し、単語埋め込みおよび二言語埋め込みにおけるバイアスを同時に低減する。
• 単語埋め込み（ES, FR）および二言語埋め込み（ES-EN, FR-EN）にデバイアス化処理を適用し、語の類似度と翻訳性能を維持する。
• 語の類似度、語の翻訳、語対の翻訳タスクを用いて評価し、デバイアス化後の埋め込みの有用性が保持されているかを確認する。

実験結果

リサーチクエスチョン

• RQ1 スペイン語やフランス語などの性別言語における単語埋め込みは、文法的性別を超えて、意味的性別バイアスをどの程度示しているのか？
• RQ2 英語にアライメントされた性別言語の二言語単語埋め込みにおいて、性別バイアスはどのように現れるのか？
• RQ3 英語向けに開発された従来のデバイアス化手法を、文法的性別を持つ言語に直接適用できるのか、それとも新しい定義と手法の開発が必要なのか？
• RQ4 単語埋め込みのデバイアス化と対言語アライメントを組み合わせたハイブリッドデバイアス化アプローチは、バイアスを効果的に低減するとともに、埋め込みの品質を維持できるのか？
• RQ5 英語と性別言語の埋め込みにおける性別バイアスの相関関係は何か？また、言語ごとにバイアスの違いはどのように現れるのか？

主な発見

• 提案されたハイブリッドデバイアス化手法（Hybrid_Ori）は、単語埋め込みおよび二言語埋め込みの両方において、性別バイアスを顕著に低減した。ES-ENおよびFR-ENの二言語設定において、男性・女性の職業形態間のMRR差がほぼゼロにまで低下した。
• デバイアス化後、職業の男性形・女性形間のコサイン類似度差は平均で0.1未満にまで低下し、対称性の向上が示された。
• 語の類似度および語の翻訳タスクにおいて、デバイアス化後も埋め込みの有用性が維持されており、すべての評価タスクで最小限の性能低下が観察された。
• 英語とスペイン語の単語埋め込みにおける性別バイアスの間に、統計的に有意なスピアマン相関（r = 0.45, p = 0.0004）が確認され、言語間で共通のバイアスパターンが存在することが示された。
• 研究では、文法的性別（例：'enfermero' 対 'enfermera'）は自然に性別情報を含むため、バイアスとは見なすべきではなく、一方で 'abogado' が 'abogada' よりも 'lawyer' に近いというような意味的バイアスは問題であり、緩和が必要であると確認された。
• 結果から、二言語埋め込みは単語埋め込みのソースから意味的性別バイアスを引き継ぎ、強化することが明らかになった。これにより、多言語環境におけるターゲットドリブンなデバイアス化の必要性が示された。