[論文レビュー] Attenuating Bias in Word Vectors

Sunipa Dev, Jeff M. Phillips|arXiv (Cornell University)|Jan 23, 2019

Hate Speech and Cyberbullying Detection被引用数 96

ひとこと要約

この論文は、名前を使うことが多いバイアス方向を特定し、語彡ベクトルを射影して性別、人種、年齢のバイアスを抑制するための、単純で自動的な方法を提示します。これらの手法は、いくつかの指標で従来のハードデバイアシング（Hard Debiasing）を上回り、非性別バイアスにも拡張します。

ABSTRACT

Word vector representations are well developed tools for various NLP and Machine Learning tasks and are known to retain significant semantic and syntactic structure of languages. But they are prone to carrying and amplifying bias which can perpetrate discrimination in various applications. In this work, we explore new simple ways to detect the most stereotypically gendered words in an embedding and remove the bias from them. We verify how names are masked carriers of gender bias and then use that as a tool to attenuate bias in embeddings. Further, we extend this property of names to show how names can be used to detect other types of bias in the embeddings such as bias based on race, ethnicity, and age.

研究の動機と目的

• 語彙埋め込みからのバイアス除去を動機づけ、差別的な結果を防ぐ。
• 名前または語彙対から導出された単純で自動的なバイアス方向を導入する。
• プロジェクションベースのデバイアシング手法を提案し、いくつかの設定でハードデバイアシングを上回る。
• 名前が性別を超えるバイアス（人種、 nationality、年齢など）を捉え、デバイアシングを導くことができることを示す。
• クラウドソーシングを回避する自動指標でデバイアシングを評価する。

提案手法

• バイアスを、biased word pairs E_j の差異 e_i^+ - e_i^- から導出されるサブスペース v_B で表現する。
• 射影を pi_B(w) = <w, v_B> v_B と定義し、語彙ベクトルからバイアス成分を除去する。
• 単純な線形射影を Bolukbasi らの Hard Debiasing (HD) と比較し、いくつかの設定でより強いバイアス低減を示す。
• 部分的射影と減衰関数 f_i(η) を導入し、大きな直交成分を持つ語に対するバイアス除去を σ（1 に設定）で制限する。
• 名前ベースの方向 v_B,names（平均男性名対女性名ベクトルを介して）を用いて性別バイアスを検出・除去し、対になる方向と同等の結果を達成する。
• raw テキストをバイアス接種のアプローチとして反転させる（0.5、0.75、1.0 の確率）ことを検討し、バイアスへの予期せぬ影響を評価する。
• 自動指標でバイアスを定量化する：WEAT、Embedding Coherence Test (ECT)、EQT（語の対、名前の対の両方）、および標準的な類似度・アナロジー検査。

実験結果

リサーチクエスチョン

• RQ1 単純で自動的な線形射影を、バイアス方向に沿って行うだけで、語彙埋め込みのバイアスを効果的に低減できるか。
• RQ2 名前は性別バイアスを特定するための堅牢なブートストラップとなり、人種・ nationality・年齢のバイアスへ拡張できるか。
• RQ3 射影ベースのデバイアシングは、従来のハードデバイアシングと比較して、バイアスの低減および語彙・意味的整合性においてどうなるか。
• RQ4 デバイアシング後に残るバイアスと埋め込み構造の保持を最もよく捉える自動指標は何か。
• RQ5 トレーニングコーパスのテキスト反転戦略は、得られる埋め込みのバイアスに意味のある影響を与えるか。

主な発見

• バイアス方向に沿った単純な線形射影は、Hard Debiasing よりもバイアスを効果的に低減することが多い（例： WEAT スコアは射影後に悪化が少ない）。
• 性別バイアス方向を定義するために名前を用いると、バイアスの同定・除去において語彙対手法と同程度の結果が得られる。
• 名前は性別を超えるバイアスを明らかにし、レース（Hispanic vs European-American、African-American vs European-American）や年齢に関連するバイアスの検出と低減を可能にする。
• 定量評価では WEAT スコアが元の約 1.623 から各手法で約 1.1–1.23 に低下し、バイアスが減少していることを示す；ECT スコアは射影と共に改善または高水準を維持（例：v_B 使用時約0.996）、EQT は元の値と比較して改善（射影時 ~0.283）。
• 埋め込みのみの指標（WSim、SimLex、Google Analogy）は、デバイアシング後に概ねやや低下し、全体的な語彙構造の一部が失われる一方、減衰射影バリエーションはHDより構造をわずかに良く保持する。