[論文レビュー] Understanding the Origins of Bias in Word Embeddings

Marc-Etienne Brunet, Colleen Alkalay-Houlihan+2 more|arXiv (Cornell University)|Oct 8, 2018

Topic Modeling参考文献 19被引用数 64

ひとこと要約

論文は、影響関数に基づく効率的な手法を導入し、トレーニングコーパスの小さな部分を削除した場合にワード埋め込みのバイアスがどのように変化するかを近似し、全再訓練なしでバイアスを生み出す文書を同定可能にする。

ABSTRACT

The power of machine learning systems not only promises great technical progress, but risks societal harm. As a recent example, researchers have shown that popular word embedding algorithms exhibit stereotypical biases, such as gender bias. The widespread use of these algorithms in machine learning systems, from automated translation services to curriculum vitae scanners, can amplify stereotypes in important contexts. Although methods have been developed to measure these biases and alter word embeddings to mitigate their biased representations, there is a lack of understanding in how word embedding bias depends on the training data. In this work, we develop a technique for understanding the origins of bias in word embeddings. Given a word embedding trained on a corpus, our method identifies how perturbing the corpus will affect the bias of the resulting embedding. This can be used to trace the origins of word embedding bias back to the original training documents. Using our method, one can investigate trends in the bias of the underlying corpus and identify subsets of documents whose removal would most reduce bias. We demonstrate our techniques on both a New York Times and Wikipedia corpus and find that our influence function-based approximations are very accurate.

研究の動機と目的

• ワード埋め込みにおけるバイアスがどのように生じるかを動機づけ、形式的に定式化し、その起源を理解することの重要性を説明する。
• 個々の文書を削除した場合の埋め込みバイアスへの影響を再訓練なしに推定する、扱いやすい手法を導入する。
• この手法をWikipediaとNYTコーパスのGloVeに適用し、再訓練結果の真の値と照合して精度を検証する。
• 影響力のある文書とWEATバイアス指標との関係を分析し、他手法（例：word2vec）への頑健性を検討する。
• トレーニングコーパス内のバイアス分布とWEATの限界について定性的洞察を提供する。

提案手法

• 差分バイアスを形式化する：コーパスの一部pを削除したときのバイアス変化を ΔpB = B(w) − B(ŵ) と定義する。
• 共起摂動を分解する：コーパスの共起行列Xを各文書行列X(k)の和として扱う。
• バイアス勾配 ∇X B(w(X)) を用いて、Xの小さな摂動に対するバイアスの変化を近似する（連鎖律 ∇X B(w(X)) = ∇w B(w) ∇X w(X)）。
• GloVeの効率的なブロック対角Hessian構造を導出して、文書を削除したときに各単語ベクトル wi がどう変化するかを近似する： ŵi ≈ w*i − (1/V) Hwi^−1 [∇wi Li(ṼXi, w) − ∇wi Li(Xi, w)]。
• WEATに関連する語のみを文書内で変化させて Δdoc B ≈ Bweat(w*) − Bweat(ŵ) を得る。
• Algorithm 1: Approximating Differential Bias to apply the approximation across all documents without retraining

実験結果

リサーチクエスチョン

• RQ1 トレーニングコーパス内のどの文書がモデルを再訓練せずにワード埋め込みのバイアスに最も寄与するかを特定できるか。
• RQ2 提案された差分バイアスの近似が、文書を除去したときの実際のバイアス変化をどの程度正確に予測するか。
• RQ3 手法は埋め込み方式（GloVe 対 word2vec）およびバイアス指標（WEAT のバリアント）を越えて一般化するか。
• RQ4 コーパスを摂動したときに、バイアス分布や希少語についてどのような定性的パターンが現れるか。

主な発見

データセット	WEAT1	WEAT2
Wiki	0.957 ( ±0.150)	0.108 ( ±0.213)
NYT	1.14, ( ±0.124)	1.32, ( ±0.056)

• 近似は文書削除後の真のバイアス変化と高度に相関している（r^2 ≥ 0.985、構成による）。
• ターゲットを絞った摂動（バイアスを増加/減少させる文書の削除）は、ランダムな摂動よりもはるかに信頼性高くバイアス変化を再現する。Wiki/NYTの検定では40セット中2のみが有意性を欠く。
• NYTで上位のバイアス影響文書を削除すると、word2vecのWEAT1バイアスが大幅に変化する（例：基準0. 1.35 から 0.11へ、10k文書削除後）。
• 本手法はPPMIベースのベースラインよりもバイアス変化の予測に優れる（例：Wiki類似摂動で約40%の削減対約4%）。
• 影響力の高い文書は直感的な意味内容と一致する（例：男性科学者に関する記事がバイアスを推進）ほか、希少語は摂動に対して感度が高いことを示す。
• WEATの限界と脆弱性（希少語への感度など）を検出し、他のバイアス指標にも乗るクロスメトリック効果を示す。