[論文レビュー] An Analysis of Social Biases Present in BERT Variants Across Multiple Languages

Aristides Milios, Parishad BehnamGhader|arXiv (Cornell University)|Nov 25, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、英語、ギリシャ語、ペルシャ語の3言語における単語プロビビリティ手法の限界を補うために、テンプレートベースの文の擬似尤度法を提案し、単語モデルにおける性別、民族的、宗教的バイアスを測定する。この手法により、バイアスは言語および文化的要因に強く依存しており、非英語モデルではユーザー生成コンテンツとの強い相関関係や、隠喩的表現（例：シネコドケ）などの言い回しの感度が顕著であることが判明。これは、英語ベンチマークの直接的翻訳を超えて文化的文脈に配慮したプロービング手法の必要性を示唆する。

ABSTRACT

Although large pre-trained language models have achieved great success in many NLP tasks, it has been shown that they reflect human biases from their pre-training corpora. This bias may lead to undesirable outcomes when these models are applied in real-world settings. In this paper, we investigate the bias present in monolingual BERT models across a diverse set of languages (English, Greek, and Persian). While recent research has mostly focused on gender-related biases, we analyze religious and ethnic biases as well and propose a template-based method to measure any kind of bias, based on sentence pseudo-likelihood, that can handle morphologically complex languages with gender-based adjective declensions. We analyze each monolingual model via this method and visualize cultural similarities and differences across different dimensions of bias. Ultimately, we conclude that current methods of probing for bias are highly language-dependent, necessitating cultural insights regarding the unique ways bias is expressed in each language and culture (e.g. through coded language, synecdoche, and other similar linguistic concepts). We also hypothesize that higher measured social biases in the non-English BERT models correlate with user-generated content in their training.

研究の動機と目的

• 英語以外の言語における社会的バイアス（性別、民族的、宗教的）を、多様な言語にまたがる単語モデルのBERTにおいて調査すること。
• 性別形容詞の格変化を持つ形態的に複雑な言語において、従来の単語確率プロービングの限界を是正すること。
• シネコドケや周縁表現といった言語的ニュアンスを考慮した、文化的に配慮されたテンプレートベースのバイアス測定法を開発すること。
• バイアスプロービングが言い回しに対して極めて感受的であり、特に非英語モデルにおいては脆いことの実証。
• バイアスはしばしば暗号化された言語表現で現れるため、効果的なバイアスプローブを設計するには文化的専門知識が不可欠であることを強調すること。

提案手法

• ステロタイプ用語で文を完成させる確率を測定することでバイアスを評価する、文の擬似尤度スコアリング手法を提案。
• 性別および文脈に敏感なテンプレートを用い、ペルシャ語やギリシャ語のような言語においても格変化を保持した文法的に正しい文を生成。
• 多様な言語、特にヨーロッパ文化圏外の言語であるペルシャ語を含む、単語BERTモデルにこの手法を適用。
• 宗教的、民族的、性別的ステレオタイプをカバーする標準化されたテンプレートセットを用い、言い回しの感度をテストするためのバリエーション（例：「アメリカ人」対「アメリカからの人々」）を導入。
• 論理的一致性をテストするための否定テンプレートを統合し、非英語モデルにおける否定処理の欠如を明らかに。
• 言語間でのバイアス分布を可視化し、学習された関連性における文化的類似性と相違点を比較。

実験結果

リサーチクエスチョン

• RQ1 非英語言語（ギリシャ語、ペルシャ語）の単語BERTモデルは、英語モデルと比較してどのように社会的バイアスを反映しているか？
• RQ2 性別形容詞の格変化を持つ形態的に複雑な言語において、既存のバイアスプロービング手法はどの程度失敗するか？
• RQ3 直接的な地名表現（例：「アメリカ人」）と周縁表現（例：「アメリカからの人々」）の違いが、言語モデルにおける測定バイアスにどのように影響するか？
• RQ4 モデルの否定理解が、特に非英語モデルにおいてバイアス測定にどのように影響するか？
• RQ5 文化的・歴史的文脈は、ユーザー生成コンテンツに学習させた言語モデルが学習するバイアスにどの程度影響を与えるか？

主な発見

• ペルシャ語BERTモデルは、「アメリカ人」という語に対して「米国政府」を指すシネコドケとして使用されているため、『米国からの人々』よりも顕著に高いバイアススコアを示した。
• ギリシャ語BERTモデルは、「イスラエルからの人々」という表現に対して、「イスラエル人」という直接的な地名表現よりも強いバイアス関連性を示しており、文化的に周縁表現を好む傾向がうかがえる。
• 非英語モデル、特にペルシャ語BERTでは否定処理の理解が弱く、否定形テンプレートにおいても「男性」に高い確率を割り当てており、論理的一致性に欠けることが判明。
• 人間の直感が同等とみなす場合でも、テンプレートの言い回しの違いによってバイアス分布に顕著な差が生じており、バイアスプロービングが言い回しに対して極めて感受的であることが明らかになった。
• 本研究では、非英語モデルにおける高いバイアス測定値と、その訓練データに含まれるユーザー生成コンテンツの頻度の相関関係を確認した。
• シネコドケや暗号化された言語といった文化的・言語的ニュアンスは、英語バイアスベンチマークの直接的翻訳では捉えきれないため、文化的に根ざしたプロービング設計が不可欠である。