[論文レビュー] Evaluating Gender Bias in Natural Language Inference

Shanya Sharma, Manan Dey+1 more|arXiv (Cornell University)|May 12, 2021

Natural Language Processing Techniques参考文献 32被引用数 6

ひとこと要約

本稿では、性別中立的な前提文と性別特異的な仮説文をペairedすることで、自然言語推論（NLI）モデルにおける性別バイアスを評価するチャレンジタスクを提案する。この手法により、BERT、RoBERTa、BARTが顕著な性別的ステレオタイプに偏った予測誤差を示すことが明らかになった。性別バランスの取れた訓練データを確保するデータ拡張手法は、性能の低下を最小限に抑えつつバイアスを効果的に低減する。

ABSTRACT

Gender-bias stereotypes have recently raised significant ethical concerns in natural language processing. However, progress in detection and evaluation of gender bias in natural language understanding through inference is limited and requires further investigation. In this work, we propose an evaluation methodology to measure these biases by constructing a challenge task that involves pairing gender-neutral premises against a gender-specific hypothesis. We use our challenge task to investigate state-of-the-art NLI models on the presence of gender stereotypes using occupations. Our findings suggest that three models (BERT, RoBERTa, BART) trained on MNLI and SNLI datasets are significantly prone to gender-induced prediction errors. We also find that debiasing techniques such as augmenting the training dataset to ensure a gender-balanced dataset can help reduce such bias in certain cases.

研究の動機と目的

• 最先端のNLIモデルが、職業的ステレオタイプに関連して予測に性別バイアスを示すかどうかを調査すること。
• 性別中立的な前提文と性別特異的な仮説文をペアにしたチャレンジタスクを用いた、バイアスを検出可能な的確な評価手法の開発。
• データ拡張をデバイアス化手法として用いる有効性を、ファインチューニングされたNLIモデルにおける性別バイアス低減の観点から評価すること。
• NLIモデルのバイアスの原因が、ファインチューニング用データセットにあるのか、それともモデルの事前学習データにあるのかを特定すること。
• NLIシステムにおける性別バイアスの評価と是正のためのベースラインを確立すること。

提案手法

• 性別中立的な前提文と、性別に差がある職業用語のみを変更した2つの仮説文（例：「看護師」と「医師」）をペアにしたチャレンジタスクを構築する。
• 既存のNLIデータセット（SNLI、MNLI、ANLI、QNLI）を用い、BERT、RoBERTa、BARTをそれらでファインチューニングして、チャレンジペアに対するモデルの挙動を評価する。
• バイアスの測定には予測の差を用いる：性別に差がある職業用語のみを変更した仮説に対して、モデルが異なるラベル（含意／中立／矛盾）を付与する場合、バイアスがあるとみなす。
• ルールベースの性別スワップ拡張を訓練データに適用し、データセットを性別バランスの取れたバージョンに変換した後、それらを用いてモデルを再ファインチューニングする。
• 精度（Acc）、バイアススコア（B）、予測差（ΔP）などの指標を用いて、元のデータセットおよび拡張済みデータセットの両方でモデルのパフォーマンスを評価する。
• デバイアス化の前後でモデルの挙動を比較し、データ拡張によるバイアス低減効果とパフォーマンスの維持度を評価する。

実験結果

リサーチクエスチョン

• RQ1 最先端のNLIモデルは、性別的ステレオタイプに偏った職業的役割が提示された場合に、予測において性別バイアスを示すか？
• RQ2 訓練データに性別バランスを確保するデータ拡張を適用することで、NLIモデルの性別バイアスはどの程度低減され、パフォーマンスの低下はどれほどか？
• RQ3 NLIモデルの性別バイアスの原因は、主にファインチューニング用データセットにあるのか、それとも事前学習データにあるのか？
• RQ4 異なる事前学習モデル（BERT、RoBERTa、BART）は、同じ性別を含む仮説ペアに対して、予測の一貫性においてどのように反応するか？
• RQ5 単純なデータ拡張手法は、複数のベンチマークデータセットにわたってNLIモデルの性別バイアスを効果的に是正できるか？

主な発見

• MNLIおよびSNLIデータセットでファインチューニングされたBERT、RoBERTa、BARTは顕著な性別的ステレオタイプに偏った予測誤差を示しており、BERTはMNLIで35.02%、SNLIで30.01%のバイアススコアを示した。
• 同じ前提文に対して性別が異なる仮説文をペアにした場合、モデルの予測が一貫性を欠いており、これは社会的な職業的ステレオタイプを反映していることを示している。
• 訓練データに性別バランスを確保するためのデータ拡張により、BERTのバイアススコアはMNLIで35.02%から14.60%へ、SNLIで30.01%から19.99%へ低下した。
• デバイアス化手法は高いパフォーマンスを維持しており、BERTのMNLIにおける精度は拡張後も84.04%から82.53%への低下にとどまった。
• RoBERTaおよびBARTについても、拡張後、バイアス指標にわずかな改善が見られ、これは主に事前学習データに起因するバイアスであっても、性別バランスの取れたデータが有効であることを示している。
• 結果から、モデルの予測バイアスは現実の職業における性別分布と密接に一致しており、モデルが社会的ステレオタイプを内省し、それを反映していることが確認された。