[論文レビュー] Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them

Hila Gonen, Yoav Goldberg|arXiv (Cornell University)|Mar 9, 2019

Topic Modeling参考文献 8被引用数 232

ひとこと要約

本論文は、人気のDebiasing手法が単語埋め込みの性別方向を縮小する一方で、根底にある性別バイアスを取り除けていないことを示す。バイアスは近傍構造や単語間の相対的な類似性にも反映されたままである。

ABSTRACT

Word embeddings are widely used in NLP for a vast range of tasks. It was shown that word embeddings derived from text corpora reflect gender biases in society. This phenomenon is pervasive and consistent across different word embedding models, causing serious concern. Several recent works tackle this problem, and propose methods for significantly reducing this gender bias in word embeddings, demonstrating convincing results. However, we argue that this removal is superficial. While the bias is indeed substantially reduced according to the provided bias definition, the actual effect is mostly hiding the bias, not removing it. The gender bias information is still reflected in the distances between "gender-neutralized" words in the debiased embeddings, and can be recovered from them. We present a series of experiments to support this claim, for two debiasing methods. We conclude that existing bias removal techniques are insufficient, and should not be trusted for providing gender-neutral modeling.

研究の動機と目的

• 埋め込みの性別投影のみを対象とする debiasing 手法の不十分さを動機づけ、定量化する。
• 残存するバイアスが近傍構造や埋め込みの全体的な幾何学と相関することを示す。
• 現在の debiasing アプローチが真の性別ニュートラル表現を生み出していないという証拠を提供する。

提案手法

• ハードデバイド（Bolukbasi et al. 2016b）および GN-GloVe（Zhao et al. 2018）の埋め込みを、偏りを持つ対応物と比較する。
• 性別方向（he–she）への射影によって語のバイアスを定量化する。
• クラスタリング、近傍分析、および WEAT ベースの関連性を用いて残存バイアスを評価する。
• biased word sets と debiased word sets から性別を予測する分類器の一般化能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 性別方向で定義される語の性別射影を debiasing は低減させるか？
• RQ2 debiasing 後も残存バイアスは語の近傍や意味的関連に反映されているか？
• RQ3 近傍分析や分類器を通じて、 debiased 埋め込みから潜在的な性別情報を回復できるか？

主な発見

• Hard-Debiased の語は性別でクラスタリングされ、偏りありの版の 99.9% に対して 92.5% の精度。
• GN-GloVe は 85.6% のクラスタリング精度を示し、偏り版は 100%。
• 最近傍構造に残存バイアスが evident: debiasing 後も語は社会的にバイアスのある語に近接している。
• 元のバイアスと近傍ベースのバイアスの相関は debiasing 後も有意（Hard-Debiased で Pearson r = 0.686; GN-GloVe で r = 0.736）。
• 職業関連のバイアスは、debiased 後も元のバイアスと男性近傍数の強い関係を示す（Hard-Debiased で r = 0.606; GN-GloVe で r = 0.792）。
• Caliskan et al. (2017) の関連性テストは debiasing 後も有意な効果を示す（p値: Hard-Debiased: 0, 0.00016, 0.0467; GN-GloVe: 7.7e-5, 0.00031, 0.0064）。
• biased語から性別を予測する分類器は debiasing 後に性能が低下する（Hard-Debiased 88.88% 対 非偏り版 98.25%、GN-GloVe 96.53% 対 98.65%）。