[論文レビュー] Gender Bias in Contextualized Word Embeddings

Jieyu Zhao, Tianlu Wang+4 more|ArXiv.org|Apr 5, 2019

Natural Language Processing Techniques参考文献 27被引用数 37

ひとこと要約

この論文は、ELMoの文脈依存埋め込みにおける性別バイアスを分析し、偏った学習データから生じるバイアスを示し、WinoBiasにおける下流コアリファレンス結果の偏りを実証し、データ拡張と埋め込み中和を緩和戦略として比較する。

ABSTRACT

In this paper, we quantify, analyze and mitigate gender bias exhibited in ELMo's contextualized word vectors. First, we conduct several intrinsic analyses and find that (1) training data for ELMo contains significantly more male than female entities, (2) the trained ELMo embeddings systematically encode gender information and (3) ELMo unequally encodes gender information about male and female entities. Then, we show that a state-of-the-art coreference system that depends on ELMo inherits its bias and demonstrates significant bias on the WinoBias probing corpus. Finally, we explore two methods to mitigate such gender bias and show that the bias demonstrated on WinoBias can be eliminated.

研究の動機と目的

• ELMo 埋め込みが、偏った学習データに起因する性別バイアスをエンコードしていることを示す。
• PCAを用いてELMoにおける性別情報の幾何を特徴付ける。
• ELMoが性別バイアスをWinoBias上のコアリファレンスシステムへ転送することを示す。
• 下流タスクのバイアスを低減する緩和戦略を評価する。
• バイアス緩和のためのデータ拡張とテスト時中和を比較する。

提案手法

• 性別の偏りと職業との共起パターンを示すELMo学習データに対する内部分析。
• ELMo埋め込みにおける性別サブスペースを特定するための主成分分析。
• ELMoの職業埋め込みから性別を予測するためにRBFカーネルを用いたSVMを訓練。
• ELMoを用いた最先端のコアリファレンスシステムをWinoBiasで評価し、陳(プロ)・反(反)ステレオタイプの性能差を測定。
• 2つの緩和戦略をテストする： (i) 性別を入れ替えたデータによる訓練時データ拡張、(ii) 性別が反対の文の表現を平均化して埋め込みを中和するテスト時中和。

実験結果

リサーチクエスチョン

• RQ1 ELMoは文脈化された埋め込みに性別情報をエンコードしているか。
• RQ2 ELMoによってエンコードされた性別情報は、男性と女性のエンティティ間で対称か。
• RQ3 ELMoベースのコアリファレンスはWinoBiasデータセットでバイアスを示すか。
• RQ4 データ拡張や埋め込み中和を通じてバイアスを緩和できるか。

主な発見

• ELMoのトレーニングデータは女性より男性のエンティティが多く、男性代名詞が職業と共起する頻度が全体として高い。
• ELMoには性別関連の2つの主成分が存在し、文脈的および職業的な性別情報を示唆している。
• 分類器はELMoの職業埋め込みから性別を高精度で予測でき、男性情報は女性より少なくとも14%強くマッピングされている。
• ELMoベースのコアリファレンスシステムはWinoBiasで顕著なプロ/アンチステレオタイプの精度差を示し、GloVeベースのシステムより大きい。
• データ拡張はコアリファレンスモデルのバイアスを大幅に緩和するが、テスト時中和は部分的または特定の設定でのみバイアスを低減する。