[論文レビュー] Robustness and Reliability of Gender Bias Assessment in Word Embeddings: The Role of Base Pairs

Haiyang Zhang, Alison Sneyd+1 more|arXiv (Cornell University)|Oct 6, 2020

Hate Speech and Cyberbullying Detection参考文献 31被引用数 17

ひとこと要約

この論文は、語の埋め込みにおける性別バイアス評価の信頼性に疑問を呈し、(男, 女) や (彼女, 彼) といった性別ベースペアに依存することで、誤った、非頑健なバイアス測定が生じることを示している。広く引用される類似性の例「男はコンピュータープログラマーであるのと同様に、女は家庭婦人である」は、社会的バイアスではなく、ベクトル類似度の高さに起因するものであり、これにより現在のバイアス検出およびデバイアス化手法の妥当性が損なわれている。

ABSTRACT

It has been shown that word embeddings can exhibit gender bias, and various methods have been proposed to quantify this. However, the extent to which the methods are capturing social stereotypes inherited from the data has been debated. Bias is a complex concept and there exist multiple ways to define it. Previous work has leveraged gender word pairs to measure bias and extract biased analogies. We show that the reliance on these gendered pairs has strong limitations: bias measures based off of them are not robust and cannot identify common types of real-world bias, whilst analogies utilising them are unsuitable indicators of bias. In particular, the well-known analogy "man is to computer-programmer as woman is to homemaker" is due to word similarity rather than societal bias. This has important implications for work on measuring bias in embeddings and related work debiasing embeddings.

研究の動機と目的

• 定められた性別ベースペアに依存する語の埋め込みにおける性別バイアス測定の頑健性と信頼性を評価すること。
• これらのバイアス測定が、現実の社会的性別ステレオタイプを正確に反映しているのか、それともベクトル類似度に起因するアーティファクトであるのかを調査すること。
• 性別ベースペアを用いて生成された類似性が、語の埋め込みにおけるバイアスの指標として妥当かどうかを評価すること。
• ベクトル差が性別を符号化しているという仮定を疑い、デバイアス化技術に与える影響を検討すること。
• 現在のバイアス測定フレームワークの限界を強調し、NLP公平性研究におけるより厳密で文脈に配慮した評価手法の導入を提言すること。

提案手法

• 著者たちは、標準化された性別ベースペアを用いて、4つの代表的な性別バイアス測定法（直接バイアス（DB）、語の埋め込み連関テスト（WEAT）、語連想（WA）、性別バイアススコア（GBS））を評価した。
• 感度、一貫性、社会的ステレオタイプの予測精度という3基準によるフレームワークを用いて、頑健性を評価した。
• 語の埋め込み間のコサイン類似度を用いて、性別ベースペアとターゲット語との関係を分析し、『男はXであるのと同様に、女はYである』という類似性が性別由来か、類似度由来かをテストした。
• Google類似性テストセットを分析し、性別ベースペアを用いた類似性がどれほど正しく解かれるかを評価した。その結果、正解が得られる主な要因は性別ではなく、語の類似度であることが判明した。
• 『男』と『女』といった性別ベースペア間、および『コンピュータープログラマー』と『家庭婦人』といったターゲット語ペア間のコサイン類似度を計算し、類似度が主な要因であることを示した。
• 『男はコンピュータープログラマーであるのと同様に、女は家庭婦人である』という類似性は、性別バイアスではなく、『コンピュータープログラマー』と『家庭婦人』の間の高いベクトル類似度（0.50）に起因していることが示された。

実験結果

リサーチクエスチョン

• RQ1 性別バイアス測定は、性別ベースペアの選択にどれほど依存しており、その結果、信頼性にどのような影響を与えるか？
• RQ2 性別バイアス測定は、人間の特性や言語的に符号化された性別（例：ライオンセス）における社会的ステレオタイプの性別を正確に予測できるか？
• RQ3 性別ベースペアを用いて生成された類似性は、語の埋め込みにおける性別バイアスの有効な指標とみなせるか？
• RQ4 語の間のベクトル類似度が、性別に基づく類似性の成功に果たす役割は何か？ これはバイアスによるものか、ノイズによるものか？
• RQ5 本分析の結果は、ベースペアに依存するバイアス検出に立脚する現在のデバイアス化技術の妥当性をどのように疑問視するか？

主な発見

• 性別バイアス測定の出力は、(彼女, 彼) と (女, 男) のような性別ベースペアの選択に極めて敏感であり、これにより頑健性に欠けることが示された。
• バイアス測定は、人間の特性（例：看護師）の社会的ステレオタイプの性別を正しく特定できず、『看護師』は一部の測定法で誤って女性とラベル付けされた。また、言語的に符号化された性別（例：ライオンセス）についても一貫した認識が得られなかった。
• 広く引用される類似性『男はコンピュータープログラマーであるのと同様に、女は家庭婦人である』は、性別バイアスの証拠ではなく、『コンピュータープログラマー』と『家庭婦人』の間の高いコサイン類似度（0.50）に起因しており、これは性別とは無関係である。
• 『男』と『女』といった性別ベースペア間のコサイン類似度は非常に高く（0.77）、ランダムな語ペアの平均（0.13）を著しく上回っており、多くの類似性結果は性別ではなく類似度によって説明できることが示された。
• 性別ベースペアを用いた類似性は、性別関係に起因するのではなく、ターゲット語がベクトル的に類似しているため、しばしば正しく解かれる。これは、非性別語ペアについてGoogle類似性テストセットで22％の正答率を示している。
• Bolukbasiら（2016）が提案したバイアス類似性を生成する手法は、||x−y||=1 を要件としているが、これは x と y の類似度を強制するものであり、結果が類似度によって予測可能になるため、性別的意味ではなく類似度に起因する。