[論文レビュー] A Causal Inference Method for Reducing Gender Bias in Word Embedding Relations

Zekun Yang, Juan Feng|arXiv (Cornell University)|Nov 25, 2019

Topic Modeling参考文献 30被引用数 5

ひとこと要約

本稿では、性別定義語との統計的依存関係を用いて、性別定義語でない語から誤った性別情報を学習・削除することで、単語埋め込みにおける性別バイアスを低減するための因果推論に基づく後処理手法、Half-Sibling Regression (HSR) を提案する。この手法は、ハイパーパramータの最小限のチューニングで、性別バイアス低減、語彙的、文レベル、共参照解決の各タスクで最先端の性能を達成し、単語ベクトル関係の性別バイアスと性別方向バイアスの両方を同時に低減する。

ABSTRACT

Word embedding has become essential for natural language processing as it boosts empirical performances of various tasks. However, recent research discovers that gender bias is incorporated in neural word embeddings, and downstream tasks that rely on these biased word vectors also produce gender-biased results. While some word-embedding gender-debiasing methods have been developed, these methods mainly focus on reducing gender bias associated with gender direction and fail to reduce the gender bias presented in word embedding relations. In this paper, we design a causal and simple approach for mitigating gender bias in word vector relation by utilizing the statistical dependency between gender-definition word embeddings and gender-biased word embeddings. Our method attains state-of-the-art results on gender-debiasing tasks, lexical- and sentence-level evaluation tasks, and downstream coreference resolution tasks.

研究の動機と目的

• 既存のバイアス低減手法が性別方向のバイアスにとどまっているという限界に対処する。
• 性別中立語または性別バイアス語に分類する必要のない、軽量で後処理型の手法を開発する。
• 性別方向バイアスと関係ベースバイアスの両方を軽減することで、単語埋め込みの公平性と一般的な品質を向上させる。
• モデル出力の性別バイアスを低減することで、共参照解決などの下流NLPタスクの性能を向上させる。
• Half-Sibling回帰モデルを用いた理論的に解釈可能な因果フレームワークを提供する。

提案手法

• 本手法は因果推論におけるHalf-Siblingフレームワークを用い、性別定義語と性別定義語でない語の間の誤った関連性をモデル化する。
• Ridge回帰を適用して、性別定義語との統計的依存関係に基づき、性別定義語でない語ベクトルへの誤った性別的影響を推定する。
• 推定された誤った性別的成分を元の語ベクトルから差し引くことで、バイアス除去済みの埋め込みを生成する。
• ハイパーパramータは1つ（Ridge正則化）のみを必要とし、語の性別中立性・バイアス性の事前分類は不要である。
• 訓練後処理として適用されるため、いかなる事前学習済みの非文脈的単語埋め込みモデルとも互換性がある。
• 本手法は因果推論に基づいて理論的に裏付けられており、性別定義語を背後要因（backdoor confounder）として扱い、語ベクトル関係に影響を与えるものである。

実験結果

リサーチクエスチョン

• RQ1 因果推論に基づく手法が、性別方向を超えた単語ベクトル関係の性別バイアスを効果的に低減できるか。
• RQ2 後処理型手法が、最小限のハイパーパramータチューニングと語の分類なしに最先端のバイアス低減性能を達成できるか。
• RQ3 提案手法が語彙的および文レベルの語埋め込みの意味的品質の両方を向上させるか。
• RQ4 この手法が下流の共参照解決タスクにおける性別バイアスをどの程度低減するか。
• RQ5 Half-Sibling回帰フレームワークを用いて、語埋め込みにおける誤った性別的関連性を分離・除去できるか。

主な発見

• HSRは、2位の手法よりもGBWR-Correlationタスクで6.72%、GBWR-Professionタスクで4.98%の向上を達成した。
• 同じタスクで、元のGloVe埋め込みよりも16.89%および17.02%の向上を達成した。
• 8つの語彙的レベルの評価タスクにおいて、過去最高の後処理手法よりも平均6.96%の改善を示した。
• 20の文レベルの評価タスクにおいて、過去最高の手法よりも平均14.19%の改善を達成した。
• WinoBias共参照解決タスクにおいて、プロステレオタイプ化とアンチステレオタイプ化の文の正答率差を、2位の手法よりも87.26%低減した。
• HSRは、すべての手法の中でWinoBias-Diffスコアが最小（2.0）を記録し、プロステレオタイプ化とアンチステレオタイプ化の文でほぼ同等の性能を示した。