[論文レビュー] Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations

Lifan Yuan, Yangyi Chen+7 more|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用数 7

ひとこと要約

本稿では、自然言語処理（NLP）における分布外（OOD）のロバストネスを評価する包括的なベンチマーク、BOSSを提案する。BOSSは、厳密に選別された相違するOOD分布を有する5つのタスクと20のデータセットを備えている。本研究では、微調整済みモデルにおけるID-OOD性能の相関パターンが3種類に分かれることが明らかになった。また、標準的なロバストネス向上手法は、vanilla微調整に比べて限定的な向上を示し、IDデータが乏しい状況では、コンテキスト学習を用いた大規模言語モデル（LLM）が微調整済みの小規模モデルを上回ることが分かった。

ABSTRACT

This paper reexamines the research on out-of-distribution (OOD) robustness in the field of NLP. We find that the distribution shift settings in previous studies commonly lack adequate challenges, hindering the accurate evaluation of OOD robustness. To address these issues, we propose a benchmark construction protocol that ensures clear differentiation and challenging distribution shifts. Then we introduce BOSS, a Benchmark suite for Out-of-distribution robustneSS evaluation covering 5 tasks and 20 datasets. Based on BOSS, we conduct a series of experiments on pre-trained language models for analysis and evaluation of OOD robustness. First, for vanilla fine-tuning, we examine the relationship between in-distribution (ID) and OOD performance. We identify three typical types that unveil the inner learning mechanism, which could potentially facilitate the forecasting of OOD robustness, correlating with the advancements on ID datasets. Then, we evaluate 5 classic methods on BOSS and find that, despite exhibiting some effectiveness in specific cases, they do not offer significant improvement compared to vanilla fine-tuning. Further, we evaluate 5 LLMs with various adaptation paradigms and find that when sufficient ID data is available, fine-tuning domain-specific models outperform LLMs on ID examples significantly. However, in the case of OOD instances, prioritizing LLMs with in-context learning yields better results. We identify that both fine-tuned small models and LLMs face challenges in effectively addressing downstream tasks. The code is public at \url{https://github.com/lifan-yuan/OOD_NLP}.

研究の動機と目的

• 自然言語処理分野における、現実の分布シフトを的確に反映する標準的で挑戦的なOODベンチマークが不足しているという問題に対処すること。
• 微調整済み事前学習済み言語モデルにおける、分布内（ID）と分布外（OOD）の性能の関係を調査すること。
• 統一されたベンチマークを用いて、既存のロバストネス向上手法および大規模言語モデル（LLM）のOOD一般化性能を評価すること。
• 分布の相違度と性能低下に基づいて、より厳密で代表的なOODベンチマークを構築するためのプロトコルを提供すること。

提案手法

• OODベンチマーク構築のための3原則プロトコルを提案：(1) 大型かつ多様なIDデータセットを用いること；(2) 異なるテキストソースと意味的特徴を持つOODデータセットを選定すること；(3) 明著な性能低下を引き起こす分布シフトを優先すること。
• 5つのNLPタスク（感情分析、毒性検出、NLI、NER、抽出型QA）を含むベンチマークスイートBOSSを導入。各タスクにIDデータセット1つとOODデータセット3つを設定し、厳しい多様な分布シフトを確保する。
• モデルスケール、トレーニングステップ数、トレーニングサンプルサイズ、およびチューナブルパラメータを変化させた制御実験を実施し、ID-OOD性能相関を分析する。
• BOSS上で5つの古典的OODロバストネス手法を評価し、vanilla微調整に比べた一般化の向上を測定する。
• 微調整によるドメイン固有データへの適応と、IDまたはOODの例を用いたコンテキスト学習を含む、複数の適応パラダイムを用いて5つのLLMをテストする。
• LLM推論のための標準化されたテンプレートと指示を用い、モデルやタスク間での一貫性ある評価を確保する。

実験結果

リサーチクエスチョン

• RQ1 異なる分布シフトの特性が、微調整済みNLPモデルの一般化性能にどのように影響するか？
• RQ2 さまざまなモデル設定において、分布内（ID）と分布外（OOD）の性能の相関関係の本質は何か？
• RQ3 統一されたベンチマーク上で、既存のロバストネス向上手法は、vanilla微調整に比べて顕著にOOD一般化性能を向上させるか？
• RQ4 データが乏しい状況において、コンテキスト学習を用いた大規模言語モデル（LLM）は、微調整済みの小規模モデルに比べてOOD一般化性能で優れているか？
• RQ5 ID性能はOODロバストネスを信頼性を持って予測できるか？また、ID-OOD性能関係にどのようなパターンが現れるか？

主な発見

• 微調整済みモデルにおける学習ダイナミクスの複雑さを示す3つの明確なID-OOD性能相関パターンが同定された：単調的線形正の相関、単調的区分線形正の相関、非単調的V字型の相関。
• 特定の状況では若干の向上が見られたが、BOSSベンチマーク上では、古典的OODロバストネス手法はvanilla微調整を顕著に上回ることはなく、一般化への恩恵が限定的であることが示された。
• 十分な分布内（ID）データが利用可能な場合、微調整済みの小規模モデルはID例においてLLMを上回るが、コンテキスト学習を用いたLLMはOOD性能で優れている。
• 一部のタスク（例：感情分析）では、トレーニングステップが増えるほどIDとOOD一般化の性能差が拡大する傾向があり、IDデータへの過学習がOODロバストネスを損なう可能性があることが示された。
• CoNLL NERデータセットでは、OOD一般化が最も容易で（ID-OOD相関が最も高い）、WNUTでは最も困難で（相関が最も低い）ことが分かった。これは、タスク固有のOOD課題の違いを示している。
• 抽出型質問応答タスクにおいて、SearchQAデータセットではID-OOD相関の曲線変化が最も顕著に現れ、トレーニングダイナミクスへの感受性が高いためであると示唆された。