[論文レビュー] Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation

Tianlu Wang, Xi Lin+4 more|arXiv (Cornell University)|May 3, 2020

Topic Modeling参考文献 25被引用数 7

ひとこと要約

本稿では、事前学習された単語埋め込みから単語頻度に起因する歪みを最初に除去した後、Hard Debias手法を適用して性別バイアスを軽減する二段階の事後処理手法、Double-Hard Debiasを提案する。この手法は、複数のベンチマークで性別バイアスを顕著に低減させつつ意味的品質を維持しており、表現レベルおよび下流タスク評価において、先行するバイアス除去手法を上回る性能を発揮する。

ABSTRACT

Word embeddings derived from human-generated corpora inherit strong gender bias which can be further amplified by downstream models. Some commonly adopted debiasing approaches, including the seminal Hard Debias algorithm, apply post-processing procedures that project pre-trained word embeddings into a subspace orthogonal to an inferred gender subspace. We discover that semantic-agnostic corpus regularities such as word frequency captured by the word embeddings negatively impact the performance of these algorithms. We propose a simple but effective technique, Double Hard Debias, which purifies the word embeddings against such corpus regularities prior to inferring and removing the gender subspace. Experiments on three bias mitigation benchmarks show that our approach preserves the distributional semantics of the pre-trained word embeddings while reducing gender bias to a significantly larger degree than prior approaches.

研究の動機と目的

• 既存の事後処理バイアス除去手法（例：Hard Debias）の限界、特に語彙頻度などのコーパスの規則性に起因する干渉により性別方向を正しく分離できない問題に対処すること。
• 語彙頻度統計が単語埋め込みにおける性別方向にどのように歪みをもたらし、バイアス除去の性能を損なうかを調査すること。
• 事前学習済み埋め込みの意味的分布的性質を保持しつつ、優れた性別バイアス低減を達成するバイアス除去手法を開発すること。
• アナロジー課題、WEAT、近隣メトリクス、共参照解決など、複数のベンチマークで提案手法の有効性を評価すること。

提案手法

• 主成分分析を用いて、頻度に影響を受ける部分空間において、主な頻度関連成分を特定・除去することで、事前学習済み単語埋め込みから頻度に起因する歪みを除去する。
• 洗練された埋め込みに対して、元のHard Debiasアルゴリズムを適用し、性別方向を除去する。これにより、頻度の影響が薄れた状態で性別バイアスが除去される。
• 頻度の影響を特定するため、語彙頻度の変化が性別差分ベクトルと他の性別ベクトルとのコサイン類似度に与える影響を分析し、最も影響力の強い頻度方向を同定する。
• 二段階の射影を用いる：まず頻度直交部分空間へ、次に性別直交部分空間へ。これにより、性別バイアス除去が頻度統計に混同されないよう保証する。
• GloVeおよびfastText埋め込みにこの手法を適用し、内在的（例：WEAT、近隣メトリクス）および外在的（例：共参照解決）ベンチマークを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングコーパスにおける語彙頻度が、単語埋め込みにおける性別方向にどれほど歪みをもたらし、事後処理によるバイアス除去の効果を損なうか。
• RQ2 単語埋め込みから頻度関連成分を除去することで、性別方向の推定精度およびその後のバイアス除去の精度が向上するか。
• RQ3 Double-Hard Debiasは、先行手法と比較して、より優れた性別バイアス低減を達成しながら、単語埋め込みの意味的品質を保持できるか。
• RQ4 アナロジー課題、WEAT、共参照解決を含む多様な評価プロトコルにおいて、この手法はどのように性能を発揮するか。

主な発見

• Double-Hard DebiasはWEATおよび近隣メトリクスにおいて、Hard Debiasや他の事後処理手法をすべて上回る顕著な性別バイアス低減を達成した。
• 共参照解決ベンチマークでは、Double-Hard GloVeがすべてのバイアス除去モデルの中で最高の性能を示し、下流NLPタスクにおける公平性の向上を実証した。
• 語のアナロジーおよび概念分類タスクにおいて、4つのベンチマークデータセットで元のGloVeと同等の性能を示したことから、意味的類似性が保持されていることが裏付けられた。
• 実験により、語彙頻度の調整が性別差分ベクトルの類似度に大きなシフトをもたらすことが確認され、頻度が性別方向推定に強く歪みをもたらすことが明らかになった。
• 主成分分析により同定された最も影響力の強い頻度成分を除去することで、バイアス除去の性能が最大限に向上した。これは、本手法の設計選択の妥当性を裏付けている。