[論文レビュー] On the Limitations of Dataset Balancing: The Lost Battle Against Spurious Correlations

Roy Schwartz, Gabriel Stanovsky|arXiv (Cornell University)|Apr 27, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文は、データセットのバランス調整—一部の誤った相関関係を軽減する上で役立つが—自然言語処理（NLP）におけるすべての誤った相関関係を根本的になくすには本質的に不十分であると主張している。特にモデルがより強力になるにつれ顕著になる。本稿では、大規模なファインチューニングからゼロショットまたはフェイントショット学習、より豊かな文脈モデリング、不確実性におけるモデルの自己抑制への焦点のシフトを提案し、有用な信号を捨てることなく世界知識や常識をよりよく扱えるようにする。

ABSTRACT

Recent work has shown that deep learning models in NLP are highly sensitive to low-level correlations between simple features and specific output labels, leading to overfitting and lack of generalization. To mitigate this problem, a common practice is to balance datasets by adding new instances or by filtering out "easy" instances (Sakaguchi et al., 2020), culminating in a recent proposal to eliminate single-word correlations altogether (Gardner et al., 2021). In this opinion paper, we identify that despite these efforts, increasingly-powerful models keep exploiting ever-smaller spurious correlations, and as a result even balancing all single-word features is insufficient for mitigating all of these correlations. In parallel, a truly balanced dataset may be bound to "throw the baby out with the bathwater" and miss important signal encoding common sense and world knowledge. We highlight several alternatives to dataset balancing, focusing on enhancing datasets with richer contexts, allowing models to abstain and interact with users, and turning from large-scale fine-tuning to zero- or few-shot setups.

研究の動機と目的

• データセットのバランス調整がNLPにおける誤った相関関係を効果的に排除するという仮定に挑戦すること。
• 高次元の特徴相互作用のため、単一語の特徴のバランス調整ですら、すべての誤った相関関係を排除できないことを示すこと。
• データセットの過剰なバランス調整が、本質的な世界知識や常識を失うリスクを伴い、モデルの頑健性を損なう可能性があると主張すること。
• より豊かな文脈の統合、モデルの自己抑制、ゼロ/フェイントショット学習などの代替手法を提唱し、一般化性能を向上させること。
• 大規模なファインチューニングがNLP分野の主流パラダイムであることに疑問を呈すること。

提案手法

• すべての単語レベルの相関関係を誤ったものとみなす先行研究を拡張し、データセットのバランス調整の限界を分析すること。
• 特徴の組み合わせから生じる誤った相関関係が、単一語の特徴のバランス調整だけでは不十分であることを実証すること。
• 世界知識や常識をエンコードできるより豊かな文脈的情報をデータセットに組み込むことで、表面的な手がかりへの依存を減らすこと。
• 文脈が不十分な場合に回答を拒否できるモデルの設計を提唱し、誤った相関関係に頼るのを避けること。
• 大規模なファインチューニングからゼロショットまたはフェイントショット学習の枠組みに移行することで、データセットのアーチファクトへの過剰適合を低減すること。
• 小さなテストセットに依存するのではなく、統計的パワーを高め、モデルの一般化性能をよりよく評価できる大規模なテストセットの構築を提言すること。

実験結果

リサーチクエスチョン

• RQ1 モデルの性能が向上する中でも、データセットのバランス調整はNLPにおけるすべての誤った相関関係を効果的に排除できるのか？
• RQ2 データセットの過剰なバランス調整の予期せぬ結果は何か。特に、有用な世界知識が失われるリスクについて。
• RQ3 なぜ単一語の特徴のバランス調整では、特徴の組み合わせから生じる誤った相関関係を克服できないのか？
• RQ4 文脈が曖昧な状況で、モデルが不確実性を扱い、誤った相関関係に頼らないように設計するにはどうすればよいか？
• RQ5 大規模なファインチューニングがNLPモデルの学習に最適なパラダイムであると言えるのか。それとも、ゼロショットまたはフェイントショット学習への移行が望ましいのか？

主な発見

• 高次元の特徴相互作用が残っているため、単一語の特徴のバランス調整だけでは、すべての誤った相関関係を排除できない。モデルが依然としてそれらを悪用する可能性がある。
• データセットの過剰なバランス調整は、意味のある信号、特に常識や世界知識までをも失うリスクを伴い、頑健な推論に悪影響を及ぼす。
• 過剰にバランス調整されたデータセットで学習したモデルは、『ジョー・バイデンは米国の大統領である』といった世界知識の事実を代替的に学習できない可能性がある。
• データセットのバランス調整は、社会的バイアスを緩和する万能薬ではなく、誤った相関関係の複雑さのため、この目的に対しても不十分である可能性がある。
• モデルのスケールとデータセットの整備の間の競争は持続不可能であり、逆効果である。なぜなら、モデルはますます繊細な相関関係を悪用し続けるからである。
• ゼロショットまたはフェイントショット学習、およびより豊かな文脈モデリングへの移行は、モデルの一般化性能と頑健性を向上させるより持続可能で効果的な道筋である。