[論文レビュー] An Empirical Study on Robustness to Spurious Correlations using Pre-trained Language Models

Lifu Tu, Garima Lalwani+2 more|arXiv (Cornell University)|Jul 14, 2020

Topic Modeling参考文献 44被引用数 9

ひとこと要約

この論文は、BERTのような事前学習言語モデルがNLPタスクで誤った相関関係に対してなぜ頑健性を示すかを調査する。その結果、頑健性は支配的ヒューリスティックを破る少数の反例における一般化に起因することが判明した。このような例が少ない場合、補助タスクを用いたマルチタスク学習（MTL）により、分布内パフォーマンスを損なわずに少数データからの一般化を強化することで、頑健性が著しく向上することが示された。

ABSTRACT

Recent work has shown that pre-trained language models such as BERT improve robustness to spurious correlations in the dataset. Intrigued by these results, we find that the key to their success is generalization from a small amount of counterexamples where the spurious correlations do not hold. When such minority examples are scarce, pre-trained models perform as poorly as models trained from scratch. In the case of extreme minority, we propose to use multi-task learning (MTL) to improve generalization. Our experiments on natural language inference and paraphrase identification show that MTL with the right auxiliary tasks significantly improves performance on challenging examples without hurting the in-distribution performance. Further, we show that the gain from MTL mainly comes from improved generalization from the minority examples. Our results highlight the importance of data diversity for overcoming spurious correlations.

研究の動機と目的

• 事前学習言語モデルがNLPタスクにおいて誤った相関関係に対してなぜ頑健性を示すのか、そのメカニズムを理解すること。
• 特に、誤ったパターンを破る少数の例（少数派例）が、モデルの一般化性能にどの程度寄与するかを調査すること。
• 反例が極めて稀な状況において、マルチタスク学習（MTL）が頑健性を向上させられるかどうかを評価すること。
• MTLの向上効果が、分布内パフォーマンスの向上だけでなく、少数例からの一般化性能の向上に起因するかどうかを評価すること。
• i.i.d.設定ではMTLに限界があるという仮定を覆し、分布外一般化においてMTLの有効性を示すこと。

提案手法

• 著者らは、NLI（MNLI）および類似文同定（QQP）データセットに微調整された事前学習モデル（BERT、RoBERTa）を分析し、標準的および挑戦的な（敵対的）テストセットにおけるパフォーマンスを比較した。
• 反例（例：帰納的でないが語彙的重複度が高い例）を削除することで、少数例の影響を分離し、挑戦的セットにおけるパフォーマンス低下を測定した。
• 反例の一般化を向上させるように設計された補助タスク（例：逆転パターンを含む類似文やNLI風のデータ）を用いたマルチタスク学習（MTL）を適用した。
• 事前学習データサイズ、モデルサイズ、微調整エポック数を変化させ、それらが頑健な正確度に与える影響を評価した。
• 分布内（MNLI、QQP）と分布外（HANS、PAWS_QQP）のテストセットにおけるパフォーマンスを比較し、頑健性の向上を分離して評価した。
• 統計的有意性検定を実施し、複数回の実験における標準偏差を報告することで、結果の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 なぜ事前学習言語モデルは、誤った相関関係に反する挑戦的で分布外の例に対してよりよく一般化できるのか？
• RQ2 訓練データに少数の反例が存在する場合、それが事前学習モデルの頑健性にどの程度寄与するのか？
• RQ3 反例が極めて稀な状況において、マルチタスク学習（MTL）は頑健性を向上させられるか。また、分布内パフォーマンスを損なわないか？
• RQ4 MTLによる向上効果は、少数例からの一般化性能の向上に起因するのか、それとも他のインダクティブバイアスに起因するのか？
• RQ5 モデルスケール、事前学習データサイズ、微調整期間は、誤った相関関係に対する頑健性にどのように影響するか？

主な発見

• 事前学習モデルは、初期化から学習したモデル（BERT_SCRATCH）よりも高い頑健な正確度（例：BERT_LARGEではHANSで71.4％）を達成しており、主に希少な反例からの一般化に起因する。
• 誤った相関関係を破る少数の反例を削除すると、頑健な正確度が著しく低下する（例：HANSでは62.5％から49.9％に低下）。これは反例が果たす重要な役割を示している。
• 反例が極めて稀な場合、補助タスクを用いたマルチタスク学習（MTL）により、HANSにおける頑健な正確度が最大12.6ポイント向上（53.8％から62.5％）し、分布内パフォーマンスに悪影響を与えない。
• MTLによる向上効果は、モデル容量やインダクティブバイアスの向上ではなく、少数例からの一般化性能の向上に起因する。
• モデルサイズの拡大、事前学習データ量の増加、微調整期間の延長により、特に少数例が少ない状況で頑健な正確度が向上する。
• HANSとPAWS_QQPにおけるモデルパフォーマンスの差は、現在の挑戦的データセットがすべてのタイプの分布シフトをカバーしていない可能性を示唆しており、より包括的な評価の必要性を強調している。