[論文レビュー] Unmasking Contextual Stereotypes: Measuring and Mitigating BERT's Gender Bias

Marion Bartl, Malvina Nissim+1 more|arXiv (Cornell University)|Oct 27, 2020

Hate Speech and Cyberbullying Detection参考文献 27被引用数 50

ひとこと要約

本論文は、英語とドイツ語のバイリンガルな枠組みを用いて、BEC-Proという偏見評価コーパスとマスクド・ランゲージ・モデル（MLM）アプローチでBERTの性別バイアスを測定し、Counterfactual Data Substitution（CDS）とGAPデータでのファインチューニングを組み合わせた緩和策を評価しています。また、特にドイツ語に対するクロス言語的な限界も示しています。

ABSTRACT

Contextualized word embeddings have been replacing standard embeddings as the representational knowledge source of choice in NLP systems. Since a variety of biases have previously been found in standard word embeddings, it is crucial to assess biases encoded in their replacements as well. Focusing on BERT (Devlin et al., 2018), we measure gender bias by studying associations between gender-denoting target words and names of professions in English and German, comparing the findings with real-world workforce statistics. We mitigate bias by fine-tuning BERT on the GAP corpus (Webster et al., 2018), after applying Counterfactual Data Substitution (CDS) (Maudslay et al., 2019). We show that our method of measuring bias is appropriate for languages such as English, but not for languages with a rich morphology and gender-marking, such as German. Our results highlight the importance of investigating bias and mitigation techniques cross-linguistically, especially in view of the current emphasis on large-scale, multilingual language models.

研究の動機と目的

• 英語とドイツ語の職業関連コンテクストを用いてBERTにおける性別バイアスがどのように符号化されるかを評価する。
• 職業関連のテンプレートに基づく偏見測定コーパス（BEC-Pro）を構築し、 MLMベースの関連性指標を検証する。
• Counterfactual Data Substitution（CDS）を適用し、バランスの取れたコーパス（GAP）でファインチューニングして偏見を軽減し、再評価を行う。
• 測定手法が英語で開発された場合のドイツ語への転用性を調査し、ドイツ語特有の形態素・性別形態の影響を分析する。

提案手法

• 職業中心のテンプレートを用いて英語とドイツ語のBEC-Proを現実の労働力統計に基づき作成する。
• P(T|A)とP(T)を比較するような属性条件下のログ比ターゲットを用いて、BERTのマスクド言語モデルで関連性バイアスを測定する。
• GAPコーパスにCDSを適用し、英語BERTを3エポック、AdamWでファインチューニングしてバイアスを低減し、再評価する。
• 測定テンプレートをドイツ語に翻訳・適応して、クロスリン—語転送をテストし、文法性別が偏見測定に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 MLMベースの関連スコアを用いて、英語とドイツ語のBERTにおける性別バイアスを信頼性高く測定できるか。
• RQ2 英語BERTに対するCDSとその後のファインチューニングはバイアスを軽減するか、どの程度まで。
• RQ3 英語で開発された測定手法は、形態素的に豊かな性別マークを持つドイツ語へ転用可能か。
• RQ4 職業グループの現実の労働力統計と測定されたバイアスとの関係はどうなるか。

主な発見

• 英語では、CDSとファインチューニングにより女性ターゲットが女性的職業と結びつく関連が低下する一方、反典型的設定では関連が増える可能性がある。
• 英語のBERTにおけるバイアスはファインチューニング前の現実の労働力統計と一致する傾向があり、バイアス緩和効果は女性用語で男性用語より顕著になる。
• ドイツ語の結果は、英語ベースの測定手法がドイツ語の文法的性別付与によりうまく転用されず、女性ターゲットに対する関連が一貫して高くなることを示している。
• ドイツ語では、性別付与によって男性名詞/女性名詞の職業語の間で関連が異なることがあり、英語手法が捉えない言語特有のバイアスを示している。