[論文レビュー] Word Embeddings via Causal Inference: Gender Bias Reducing and Semantic Information Preserving

Lei Ding, Dengdeng Yu+8 more|arXiv (Cornell University)|Dec 9, 2021

Natural Language Processing Techniques被引用数 5

ひとこと要約

本論文は、語彙埋め込みにおける性別バイアスを低減するための因果推論フレームワークを提案する。このフレームワークは、ペアド性別固有語ベクトルの差分（例：father − mother）をモデル化することで、意味的情報の保持を図る。この手法は、バイアス低減、意味的類似度タスク、および下流NLPアプリケーションにおいて、最先端のデバイアス手法を上回り、ほぼオラクルに近い意味的保持を達成するとともに、下流タスクにおける性能劣化を最小限に抑える。

ABSTRACT

With widening deployments of natural language processing (NLP) in daily life, inherited social biases from NLP models have become more severe and problematic. Previous studies have shown that word embeddings trained on human-generated corpora have strong gender biases that can produce discriminative results in downstream tasks. Previous debiasing methods focus mainly on modeling bias and only implicitly consider semantic information while completely overlooking the complex underlying causal structure among bias and semantic components. To address these issues, we propose a novel methodology that leverages a causal inference framework to effectively remove gender bias. The proposed method allows us to construct and analyze the complex causal mechanisms facilitating gender information flow while retaining oracle semantic information within word embeddings. Our comprehensive experiments show that the proposed method achieves state-of-the-art results in gender-debiasing tasks. In addition, our methods yield better performance in word similarity evaluation and various extrinsic downstream NLP tasks.

研究の動機と目的

• バイアス除去中に性別と意味的情報を混同する既存のデバイアス手法の限界に対処すること。
• 語彙埋め込み内の固有の意味的コンテンツを保持しつつ、性別バイアスの流れを明示的にモデル化する因果フレームワークの開発。
• POSタギング、チャンキング、名前付きエンティティ認識などの下流NLPタスクにおける性能を犠牲にすることなく、効果的なデバイアス化を可能にすること。
• 性別にとどまらず、人種的または階級に基づくバイアスなど、他のタイプのバイアスに対しても一般化可能な手法を提供すること。

提案手法

• 性別バイアスを性別固有語ペアによって影響を受ける交絡要因として扱う因果モデルを構築する。
• ペアド性別語のベクトル差分（例：father − mother）を性別バイアスの代理変数として用い、意味的構造を保持したままターゲットでバイアスを除去する。
• デバイアス化中に失われた情報を回復させるためにリーマンブロックを導入し、意味的整合性を確保する。
• 二段階のプロセスを採用する：第一に、因果構造を用いて性別バイアスを特定・分離する。第二に、埋め込みをバイアス除去された部分空間に投影する。
• バイアス変数が観測不能な場合に、性別バイアスと相関する変数（例：形容詞や名詞）を解消変数として活用し、バイアス除去の精度を向上させる。
• 内在的評価（意味的類似度）と外在的評価（下流NLPタスク）の両方で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 因果推論フレームワークは、意味的情報に影響を与えることなく、語彙埋め込み内の性別バイアスを効果的に分離・除去できるか？
• RQ2 性別語ペア間の差分をモデル化することで、標準的なポストプロセッシングデバイアス手法と比較して意味的保持がどのように向上するか？
• RQ3 デバイアス化後、下流NLPタスクにおける性能をどの程度維持できるか？
• RQ4 バイアス低減および意味的類似度の観点から、本手法は最先端のデバイアス手法と比較してどのように差をつけるか？
• RQ5 本フレームワークは、性別にとどまらず、他のタイプの社会的バイアス（例：人種的バイアス）に対しても拡張可能か？

主な発見

• 提案手法は、DeSIP や HSR などの既存のポストプロセッシング手法を上回る、最先端の性別デバイアス低減性能を達成した。
• 意味的類似度評価において、本手法は 'Wedding' タスクで 11.22 (±0.20) の意味的情報を保持し、オラクル性能の 11.22 に非常に近づいた。
• SimLex および SimVerb の類似度ベンチマークでは、それぞれ 0.3765 および 0.2286 の F1 スコアを達成し、P-DeSIP や U-DeSIP を含むすべてのベースラインを上回った。
• 下流NLPタスクでは、性能劣化が最小限に抑えられ、元のバイアス付き GloVe モデルに最も近いF1スコアを達成した。NERタスクでは、精度面でもわずかな向上を示した。
• POSタギング、チャンキング、NERタスクのすべてで一貫した性能を維持し、実世界の応用における強靭性と実用性を示した。
• 語彙アナロジーおよび類似度タスクにおける高い性能から、本手法は性別バイアスを低減しつつ、語彙的および意味的情報を効果的に保持していることが裏付けられた。