[論文レビュー] Regional Negative Bias in Word Embeddings Predicts Racial Animus--but only via Name Frequency

Austin van Loon, Salvatore Giorgi+2 more|arXiv (Cornell University)|Jan 20, 2022

Opinion Dynamics and Social Influence被引用数 4

ひとこと要約

この論文は、米国の大都市圏における語彙埋め込み連関テスト（WEAT）による反ブラックバイアス推定値が、真の言語的バイアスではなく、ソーシャルメディアデータにおけるブラックネームの相対頻度に起因するアーティファクトであることを示している。名前の頻度を制御すると、WEATスコアと人種的敵意の指標（例：内面的バイアスや居住の分離）との間のすべての相関関係が消滅し、語の頻度に起因する誤った関係が明らかになる。

ABSTRACT

The word embedding association test (WEAT) is an important method for measuring linguistic biases against social groups such as ethnic minorities in large text corpora. It does so by comparing the semantic relatedness of words prototypical of the groups (e.g., names unique to those groups) and attribute words (e.g., 'pleasant' and 'unpleasant' words). We show that anti-black WEAT estimates from geo-tagged social media data at the level of metropolitan statistical areas strongly correlate with several measures of racial animus--even when controlling for sociodemographic covariates. However, we also show that every one of these correlations is explained by a third variable: the frequency of Black names in the underlying corpora relative to White names. This occurs because word embeddings tend to group positive (negative) words and frequent (rare) words together in the estimated semantic space. As the frequency of Black names on social media is strongly correlated with Black Americans' prevalence in the population, this results in spurious anti-Black WEAT estimates wherever few Black Americans live. This suggests that research using the WEAT to measure bias should consider term frequency, and also demonstrates the potential consequences of using black-box models like word embeddings to study human cognition and behavior.

研究の動機と目的

• 米国の大都市圏におけるWEATベースの反ブラック言語的バイアス推定値が、真の人種的敵意を反映しているのか、それともメソドロジカルなアーティファクトに起因しているのかを調査すること。
• WEATスコアと地域的人種的敵意指標との間の観察された相関関係が、観察されていない変数によって誤った関係に起因しているかどうかを検討すること。
• ソーシャルメディアコーパスにおけるブラックネームの相対頻度が、語彙埋め込みにおける表面的な反ブラックバイアスを説明しているかどうかをテストすること。
• 標準的な社会的・人口統計的制御を適用した際のWEATが言語的バイアスの測定としてどれほど頑健であるかを評価すること。
• 語彙埋め込みのようなブラックボックスNLPモデルを人間の認知や社会的態度を研究するために使用する際のリスクを、語の頻度のような交絡要因を考慮しない場合に強調すること。

提案手法

• 研究は、メトロポリタン統計地域（MSA）レベルでWEATスコアを計算するために、地理タグ付き米国Twitterデータを用いる。WEATスコアは、ブラックネーム、ホワイトネーム、肯定的／否定的属性語の語彙埋め込み間のコサイン類似度を用いて、反ブラックバイアスを測定する。
• 複数の重回帰モデルを用いて、WEATスコアと人種的敵意の地域的指標（例：IATスコア、居住の分離）との関係を検証する。
• 主なメソドロジカルなイノベーションは、相対的ブラックネーム頻度（コーパス内における一意的なブラックネームの割合をホワイトネームの割合で割ったもの）を制御変数として組み込むことである。
• 名前の頻度を含む・含まないモデルのモデル適合度と回帰係数の有意性を比較し、その説明力の有効性を隔離する。
• WEATスコアとブラックレジデンスの割合の強い相関関係を可視化するために、LOWESSスムージングを用いる。
• 分析は、Twitterコーパス上で訓練されたWord2Vec埋め込みに依存しており、WEATスコアは属性語とカテゴリ語ペア間の平均コサイン類似度を用いた標準的な式で計算される。

実験結果

リサーチクエスチョン

• RQ1 WEATは、米国の地域的ソーシャルメディアコーパスにおける真の反ブラック言語的バイアスを検出できるのか、それとも人口統計的要因によって歪められているのか。
• RQ2 コーパス内におけるブラックネームの相対頻度が、WEATスコアと人種的敵意指標との間の観察された相関関係をどの程度説明できるのか。
• RQ3 標準的な社会的・人口統計的制御は、語の頻度に起因するバイアスを是正するのに十分か。
• RQ4 観察された反ブラックWEATスコアは、実際の人種的態度とは独立して、ブラックネームの頻度によって完全に説明可能か。
• RQ5 この交絡要因は、計算的社会科学における語彙埋め込みを文化的・社会的バイアスを測定するために使用する際の意味にどのような影響を与えるか。

主な発見

• Project ImplicitのIATスコアからの内面的バイアスとのWEAT推定値の相関は、調整なしでは有意であるが、ブラックネームの相対頻度を制御すると有意でなくなる。
• WEATスコアと居住の分離との関係も、名前の頻度を制御変数として加えると消える。
• 名前の頻度を制御することで、WEATの相関関係の大きさが、すべての標準的社会的・人口統計的制御を合わせたものよりも顕著に減少する。
• コーパス内におけるブラックネームの割合は、観察された反ブラックWEATスコアの分散の半数以上を説明しており、強い交絡効果であることが示唆される。
• 本研究では、WEAT推定値が意味的バイアスを測定しているのではなく、データ内でのブラックネームのレアリティのノイズの多い代理指標にすぎないことが判明した。
• 結果から、語彙埋め込みは語の頻度と肯定性を混同しており、地域間でのグループの代表割合の違いに起因するスパuriousバイアス推定値を生じさせると示唆される。