[論文レビュー] Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation

Seungjae Shin, Kyungwoo Song+4 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 25被引用数 7

ひとこと要約

本論文は、勾配反転を用いたサイマル双方向オートエンコーダーによる潜在的分離を介して、性別と意味的要因を分離することで、単語埋め込みにおける性別バイアスを解消する新しい手法を提案する。その後、性別潜在コードを反転させることで反事実的埋め込みを生成し、幾何的整合性正則化を適用して性別中立の埋め込みを生成することで、自然言語処理タスク全体にわたり、意味的整合性を保ちながら性別バイアスを顕著に低減する。

ABSTRACT

Recent research demonstrates that word embeddings, trained on the human-generated corpus, have strong gender biases in embedding spaces, and these biases can result in the discriminative results from the various downstream tasks. Whereas the previous methods project word embeddings into a linear subspace for debiasing, we introduce a extit{Latent Disentanglement} method with a siamese auto-encoder structure with an adapted gradient reversal layer. Our structure enables the separation of the semantic latent information and gender latent information of given word into the disjoint latent dimensions. Afterwards, we introduce a extit{Counterfactual Generation} to convert the gender information of words, so the original and the modified embeddings can produce a gender-neutralized word embedding after geometric alignment regularization, without loss of semantic information. From the various quantitative and qualitative debiasing experiments, our method shows to be better than existing debiasing methods in debiasing word embeddings. In addition, Our method shows the ability to preserve semantic information during debiasing by minimizing the semantic information losses for extrinsic NLP downstream tasks.

研究の動機と目的

• 人間が生成したコーパスで学習された事前学習済み単語埋め込みに起因する性別バイアスを是正すること。
• 単語埋め込み空間における性別固有の情報と意味的コンテンツを分離すること。
• 下流の自然言語処理タスクにおける性能低下を最小限に抑えるために、バイアス除去中に意味的情報を保持すること。
• バイアス除去された埋め込みが性別以外の意味的要因に影響されないよう保証する幾何的整合性機構を開発すること。
• 線形バイアス除去を超えて、非線形な反事実的生成を用いることで一般化性を向上させること。

提案手法

• 勾配反転層を備えたサイマル双方向オートエンコーダーを用いて、単語埋め込み内の性別および意味的潜在要因を分離する。
• 勾配反転層を用いて、意味的情報を用いた性別推定を防ぎ、要因の分離を強制する。
• 性別潜在コードを反転させつつ意味的潜在コードを保持することで、反事実的単語埋め込みを生成する。
• カーネル関数を用いた幾何的整合性正則化を適用し、元の埋め込みと反事実的埋め込みを一致させることで、意味的シフトを最小限に抑える。
• 元の埋め込みと反事実的埋め込みの間の補間により、性別に偏った影響を最小限に抑えた性別中立埋め込みを構築する。
• 主成分分析およびジニ係数を用いて、語のペア間における性別方向ベクトルの線形整合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 勾配反転を用いた深層オートエンコーダーは、単語埋め込みにおける性別および意味的要因を効果的に分離できるか？
• RQ2 反事実的生成による単語埋め込みは、線形射影手法と比較してより強固な性別中立化を実現できるか？
• RQ3 提案手法は、既存のバイアス除去ベースラインと比較して、下流の自然言語処理タスクにおける意味的情報をどの程度保持できるか？
• RQ4 幾何的整合性正則化は、バイアス除去の過程で語のペアの相対的な意味的構造をどの程度保っているか？
• RQ5 クラスタリングおよび語の近傍における性別比との相関を測定することで、間接的性別バイアスを低減できるか？

主な発見

• 提案手法CF-Debias-KAは、性別バイアスを有する語の集合に対して、クラスタ分類精度が16.0%と最低水準に抑えられ、優れた性別不変性を示している。
• CF-Debias-KAは、性別方向ベクトルとのドット積と語の近傍における性別比の間のピアソン相関係数が0.15と最小であり、間接的バイアスが低減していることを示している。
• すべての下流タスクにおいて、性能低下が最小限に抑えられ、POSタギング（-0.2%）、POSチャンキング（-0.3%）、NER（-0.5%）の各タスクで、すべてのベースラインを上回っている。
• 語のペア間の差分ベクトルの分散が、CF-Debias-KAでは最初の数個の主成分に最も集中しており、ジニ係数が0.78である。これは、性別方向の強い線形整合性を示している。
• LLE可視化により、性別方向が一貫しており、『housekeeper』や『statistician』といったバイアスの強い語が、バイアス除去された空間で適切に中立化されていることが確認された。
• 外部の自然言語処理評価においても、既存の手法と比較して意味的整合性が著しく保持されており、性能低下が最小限に抑えられていることが裏付けられている。