[論文レビュー] An Empirical Survey of the Effectiveness of Debiasing Techniques for Pre-trained Language Models

Nicholas Meade, Elinor Poole-Dayan+1 more|arXiv (Cornell University)|Oct 16, 2021

Topic Modeling被引用数 5

ひとこと要約

本稿では、BERT、ALBERT、RoBERTa、GPT-2に対して、CDA、ドロップアウト、INLP、Self-Debias、SentenceDebiasの5つのデバイアス化手法を実験的に評価し、性別、人種、宗教的バイアスを軽減する効果を検証している。Self-Debiasが最も効果的な手法であり、バイアススコアを一貫して向上させ、下流のNLUタスクへの悪影響は最小限に抑えられるが、すべての手法が言語モデリング性能を低下させている。

ABSTRACT

Recent work has shown pre-trained language models capture social biases from the large amounts of text they are trained on. This has attracted attention to developing techniques that mitigate such biases. In this work, we perform an empirical survey of five recently proposed bias mitigation techniques: Counterfactual Data Augmentation (CDA), Dropout, Iterative Nullspace Projection, Self-Debias, and SentenceDebias. We quantify the effectiveness of each technique using three intrinsic bias benchmarks while also measuring the impact of these techniques on a model's language modeling ability, as well as its performance on downstream NLU tasks. We experimentally find that: (1) Self-Debias is the strongest debiasing technique, obtaining improved scores on all bias benchmarks; (2) Current debiasing techniques perform less consistently when mitigating non-gender biases; And (3) improvements on bias benchmarks such as StereoSet and CrowS-Pairs by using debiasing strategies are often accompanied by a decrease in language modeling ability, making it difficult to determine whether the bias mitigation was effective.

研究の動機と目的

• 事前学習言語モデルにおける社会的バイアスを軽減するための5つの最近のデバイアス化手法の有効性を評価すること。
• デバイアス化が言語モデリング能力および下流のNLUタスク性能に与える影響を測定すること。
• デバイアス化手法が性別バイアスにとどまらず、人種的・宗教的バイアスに対しても一般化可能かどうかを調査すること。
• バイアス低減とモデル性能の低下のトレードオフを評価すること。

提案手法

• 本研究では、対策的データ拡張（CDA）、ドロップアウト、反復的ヌル空間射影（INLP）、Self-Debias、SentenceDebiasの5つのデバイアス化手法を評価している。
• 性別・人種・宗教的バイアスを測定するための3つの内在的バイアスベンチマークとして、SEAT、StereoSet、CrowS-Pairsを用いている。
• 言語モデリング能力はWikiText-2を用いて評価され、下流のNLU性能はGLUEベンチマークによって測定されている。
• モデルはデバイアス化手法を用いて微調整され、BERT、ALBERT、RoBERTa、GPT-2の各モデルでバイアス、言語モデリング、NLUタスクの評価が実施された。
• 結果は3つのランダムシードの平均値を用いることで、妥当性と統計的信頼性を確保している。

実験結果

リサーチクエスチョン

• RQ1 どのデバイアス化手法が、事前学習言語モデルにおける性別・人種・宗教的バイアスを最も効果的に低減するか？
• RQ2 デバイアス化は、WikiText-2におけるパープレキシティで測定される言語モデリング能力にどのように影響するか？
• RQ3 GLUEベンチマークで測定される下流の自然言語理解（NLU）タスクの性能は、デバイアス化によって劣化するか？

主な発見

• Self-Debiasは、SEAT、StereoSet、CrowS-Pairsの3つの内在的バイアスベンチマークで、最も強いバイアス低減効果を示した。
• デバイアス化手法は一貫して言語モデリング能力を低下させ、モデル全体でWikiText-2における平均パープレキシティが最大2.11ポイント上昇した。
• 言語モデリング性能の低下にもかかわらず、GLUEベンチマークにおける下流のNLUタスク性能はほとんど安定しており、平均F1スコアおよび正答率の低下は最小限に抑えられた。
• 現在のデバイアス化手法は、非性別バイアス（例：人種的・宗教的バイアス）の低減において一貫性がなく、ベンチマーク間での性能のばらつきが大きかった。
• StereoSet や CrowS-Pairs などのバイアスベンチマークでのスコア向上は、しばしば言語モデリング性能の低下を伴うことがあり、バイアス低減とモデルの流暢さのトレードオフが示唆された。