[論文レビュー] Quantifying Gender Bias Towards Politicians in Cross-Lingual Language Models

Karolina Stańczak, Sagnik Ray Choudhury+3 more|arXiv (Cornell University)|Apr 15, 2021

Gender Politics and Representation被引用数 5

ひとこと要約

本稿では、7ヶ国語・6モデルを対象に、政治家の名前を取り巻く形容詞および動詞の生成を分析することで、多言語間言語モデルにおける性別バイアスを定量化するための多言語プロービング手法を提案する。言語固有のステレオタイプがモデル出力に強く影響していることが判明した——例えば、『beautiful』（美しい）や『divorced』（離婚している）は、主に女性政治家と関連づけられている。一方、大規模モデルであっても、小規模モデルと比べて顕著にバイアスが強いとは認められない。

ABSTRACT

Recent research has demonstrated that large pre-trained language models reflect societal biases expressed in natural language. The present paper introduces a simple method for probing language models to conduct a multilingual study of gender bias towards politicians. We quantify the usage of adjectives and verbs generated by language models surrounding the names of politicians as a function of their gender. To this end, we curate a dataset of 250k politicians worldwide, including their names and gender. Our study is conducted in seven languages across six different language modeling architectures. The results demonstrate that pre-trained language models' stance towards politicians varies strongly across analyzed languages. We find that while some words such as dead, and designated are associated with both male and female politicians, a few specific words such as beautiful and divorced are predominantly associated with female politicians. Finally, and contrary to previous findings, our study suggests that larger language models do not tend to be significantly more gender-biased than smaller ones.

研究の動機と目的

• 事前学習済み言語モデルにおける性別バイアスが、複数の言語における政治家に対してどのように現れるかを調査すること。
• 名前付きエンティティの周囲で生成されるテキストを用いた、スケーラブルで多言語対応の性別バイアスプロービング手法を構築すること。
• 大規模言語モデルが、小規模モデルと比較して顕著に強い性別バイアスを示すかどうかを評価すること。
• 感情スコアおよび語の関連性を、男性・女性・非二元性別政治家に対するスタンスの代理指標として、モデル生成テキスト内で分析すること。
• 言語的・文化的な差が、多言語間モデルにおけるバイアスパターンに与える影響を評価すること。

提案手法

• ウィキデータから性別ラベルを取得した25万件の政治家を含む多言語データセットを収集し、多様な国と言語をカバーした。
• 事前学習済み多言語間言語モデルを用い、各政治家の名前を取り巻く文脈（例：『___人物』）で形容詞および動詞を生成した。
• 政治家の性別ごとに生成された語の頻度と感情スコアを分析することで、性別バイアスを測定するための潜在変数モデルを適用した。
• 7つのタイプ論理的・言語的に異なる言語（例：英語、ドイツ語、アラビア語、日本語）で、6つの多言語アーキテクチャ（例：mBERT、XLM-R）を用いた実験を実施した。
• ポイントワイズ相互情報量（PMI）と感情スコアを用いてバイアスを定量化し、ステレオタイプ的関連性を検出した。
• 非二元性別アイデンティティのデータが不足しているため、バイナリーセックス政治家に限定して分析を行ったが、本手法は拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 多言語間言語モデルにおける性別バイアスは、異なる言語でどのように変動するか？
• RQ2 多言語モデル出力において、男性政治家と女性政治家に主に関連づけられる具体的な語は何か？
• RQ3 モデルサイズは、言語モデルにおける性別バイアスの増大と相関するか？
• RQ4 男性および女性政治家に対して、言語をまたいで一貫した感情パターン（肯定的、否定的、中立的）がモデル生成テキストに見られるか？
• RQ5 文化的・言語的差は、言語モデルにおける性別バイアスの表現にどのように影響するか？

主な発見

• 言語がモデルのスタンスに強く影響する：英語モデルでは男性政治家に否定的センチメントが関連づけられるが、他のほとんどの言語では逆のパターンが見られる。
• 『beautiful』（美しい）、『divorced』（離婚している）、『maternal』（母性の）といった語は、複数の言語で女性政治家と主に関連づけられている。
• 男性政治家は『dead』（死んでいる）や『designated』（指定された）といった語と関連づけられており、これらは女性政治家を含む文脈でも見られるため、性別を超えた使用が一部認められる。
• 先行研究とは対照的に、大規模言語モデルが小規模モデルよりも顕著に強い性別バイアスを示すとは認められない。
• 非二元性別政治家はデータセットの0.025%にしか占めず、分析が制限されており、データ不足が主な制約であることが浮き彫りになった。
• 本研究は、言語モデルが政治的議論における既存の社会的・メディア的バイアスを反映・強化していることを明らかにした。特に多言語環境において顕著である。