[論文レビュー] Evaluating the Underlying Gender Bias in Contextualized Word Embeddings

Christine Basta, Marta R. Costa‐jussà+1 more|arXiv (Cornell University)|Apr 18, 2019

Topic Modeling参考文献 20被引用数 27

ひとこと要約

本稿では、複数の標準的なバイアス測定手法を用いて文脈付き単語埋め込みにおける性別バイアスを評価している。文脈付き埋め込みは、性別空間や直接的バイアス測定において明示的バイアスを低減するが、依然として強い暗黙的性別関連性を保持しており、文脈からの性別予測分類精度が85%以上に達していることから、アーキテクチャの改善にもかかわらず残存バイアスが依然として存在することが示唆される。

ABSTRACT

Gender bias is highly impacting natural language processing applications. Word embeddings have clearly been proven both to keep and amplify gender biases that are present in current data sources. Recently, contextualized word embeddings have enhanced previous word embedding techniques by computing word vector representations dependent on the sentence they appear in. In this paper, we study the impact of this conceptual change in the word embedding computation in relation with gender bias. Our analysis includes different measures previously applied in the literature to standard word embeddings. Our findings suggest that contextualized word embeddings are less biased than standard ones even when the latter are debiased.

研究の動機と目的

• 文脈付き単語埋め込みが標準単語埋め込みと比較して性別バイアスを低減するか、増幅するかを調査すること。
• 性別空間、直接的バイアス、クラスタリングなどの既存のバイアス測定手法が文脈付き埋め込みにどの程度有効であるかを評価すること。
• 特にデバイアス処理済みおよび非デバイアス処理済みの標準埋め込みと比較して、文脈付き表現でどの性別バイアスの側面が保持されたり、軽減されたりするかを同定すること。
• 文脈付きモデルにおける最も情報的なバイアス評価指標を特定することで、今後のデバイアス手法や公平なNLPモデル設計に役立てる洞察を提供すること。

提案手法

• 標準単語埋め込みの研究で先行して確立されたバイアス評価フレームワーク（性別空間、直接的バイアス、男性／女性クラスタリング分析）を文脈付き埋め込みに適用する。
• 文脈付き単語ベクトルを用いた性別分類タスクを実施し、職業のベクトル表現に基づいて関連する性別を予測する。10回のランダム試行を実施して結果の安定性を確保する。
• ステレオタイプ的関連性を分析するためにk近傍法（k-NN）を用い、各職業語の近隣に含まれる男性・女性ステレオタイプ職業の割合を測定する。
• 各職業のステレオタイプ的近隣割合と元の性別バイアスとの間にピアソン相関を計算し、p値を用いて有意性を検証する。
• すべての実験を、文脈文をランダムに変更して10回繰り返し、表現の安定性を確保し、結果のばらつきを低減する。
• 標準埋め込み（デバイアス処理済みおよび非デバイアス処理済み）と文脈付き埋め込み（例：ELMo, BERT）の間で結果を比較し、文脈に依存する表現の影響を特定する。

実験結果

リサーチクエスチョン

• RQ1 文脈付き単語埋め込みを用いることで、標準単語埋め込みと比較して性別バイアスが低減されるか？
• RQ2 性別分類精度という指標で測定した場合、文脈付き埋め込みにどの程度暗黙的性別バイアスが保持されているか？
• RQ3 標準埋め込みと比較して、文脈付き埋め込みは性別特異的クラスタリングおよび近隣ステレオタイプ化の観点でどの程度の性能を示すか？
• RQ4 文脈付き表現における残留性別バイアスを最も感受的に捉えるバイアス評価指標は何か？

主な発見

• 文脈付き単語埋め込みは、標準埋め込みと比較して性別空間および直接的バイアスが低減しており、明示的性別バイアスの有意な軽減が示されている。
• 文脈付き埋め込みの性別分類精度は10回の実験平均で85.56%（最小83.33%、最大88.43%）に達しており、強い暗黙的性別関連性が示されている。
• k近傍法分析により、ステレオタイプ的近隣の割合と元の性別バイアスとの間にピアソン相関0.89（範囲：0.801–0.961）が得られ、デバイアス処理済み（0.606）および非デバイアス処理済み（0.774）標準埋め込みと比較して顕著に高い相関が確認された。
• 文脈付き埋め込みは、デバイアス処理済みおよび非デバイアス処理済みの両方の標準埋め込みと比較して、男性・女性ステレオタイプ職業のクラスタリングがより強く現れており、近傍構造における性別ステレオタイプ化が強化されていることが示された。
• 明示的バイアスは低いにもかかわらず、文脈付き埋め込みは暗黙的性別バイアスを保持し、場合によっては強化している。これは、現在のデバイアス処理手法が文脈依存性に基づく性別関連性を完全に解消できていない可能性を示唆している。
• 結果から、今後の文脈付きモデル向けのデバイアス手法は、従来の測定法よりも残留バイアスをより顕著に捉える指標、たとえば暗黙的性別予測やステレオタイプ的クラスタリングを優先すべきであると示唆される。