[論文レビュー] GLUE-X: Evaluating Natural Language Understanding Models from an Out-of-distribution Generalization Perspective

Linyi Yang, Shuibai Zhang+7 more|arXiv (Cornell University)|Nov 15, 2022

Topic Modeling被引用数 10

ひとこと要約

本稿では、15の公開データセットおよび8つのNLPタスクをカバーする、事前学習済み言語モデル（PLM）の分布外（OOD）一般化を評価する統合ベンチマーク、GLUE-Xを紹介する。すべてのモデルでOOD設定下での顕著な性能低下が確認され、OODの耐性向上の緊急性が浮き彫りになり、モデルアーキテクチャーやチューニング戦略がクロスドメイン性能に顕著に影響することを示している。

ABSTRACT

Pre-trained language models (PLMs) are known to improve the generalization performance of natural language understanding models by leveraging large amounts of data during the pre-training phase. However, the out-of-distribution (OOD) generalization problem remains a challenge in many NLP tasks, limiting the real-world deployment of these methods. This paper presents the first attempt at creating a unified benchmark named GLUE-X for evaluating OOD robustness in NLP models, highlighting the importance of OOD robustness and providing insights on how to measure the robustness of a model and how to improve it. The benchmark includes 13 publicly available datasets for OOD testing, and evaluations are conducted on 8 classic NLP tasks over 21 popularly used PLMs, including GPT-3 and GPT-3.5. Our findings confirm the need for improved OOD accuracy in NLP tasks, as significant performance degradation was observed in all settings compared to in-distribution (ID) accuracy.

研究の動機と目的

• NLPモデルにおける分布外（OOD）一般化を評価する統合ベンチマークの不足を解消すること。
• 多様なNLPタスクにおいて、分布内（ID）性能と比較してOOD設定下での性能低下の程度を調査すること。
• 事前学習済みモデルアーキテクチャーやファインチューニング戦略がOOD耐性に与える影響を分析すること。
• 特徴レベルにおけるOOD一般化に影響を与える内部要因を解明すること。
• 公開可能で標準化されたベンチマークを提供することで、NLPにおけるドメイン一般化に関する今後の研究の基盤を構築すること。

提案手法

• 8つの標準的なNLPタスク（複数のドメインにまたがる）から得られる15の公開済みOODデータセットを統合したGLUE-Xを構築する。
• 各タスクに少なくとも2つの異なる分布外テストドメインが含まれるようにし、クロスドメイン評価を可能にする。
• すべてのタスクにおいて一貫した実験条件の下で、21種類の代表的な事前学習済み言語モデル（PLM）を評価する。
• 線形プローブ、ファインチューニング、および線形プローブ followed by ファインチューニング（LP-FT）という3つのチューニング戦略を適用し、それらがOOD性能に与える影響を評価する。
• モデルの特徴に対する後処理分析を実施し、OOD耐性の内部的要因を同定する。
• ID性能とOOD性能の間の相関分析を実施し、分布内結果からOOD一般化を予測可能かどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 現在の事前学習済み言語モデルは、分布外データに対して分布内データと比較して、どの程度性能が低下するか？
• RQ2 異なる事前学習済みモデルアーキテクチャーやサイズは、OOD一般化性能にどのように影響するか？
• RQ3 線形プローブ、ファインチューニング、またはLP-FTというチューニング戦略の中で、どの戦略が多様なNLPタスクにおいて最も優れたOOD耐性を達成するか？
• RQ4 異なるタスクやデータセットにおいて、分布内と分布外の性能の相関関係はどの程度か？
• RQ5 どのような内部的モデル特性や特徴レベルのパターンが、NLPモデルのOOD一般化を促進または阻害するか？

主な発見

• 評価されたすべてのモデルが、OODデータに対して顕著な性能低下を示しており、特にCOLAタスクで最大の低下が観察された。これは深刻な耐性ギャップを示している。
• ほとんどのタスクにおいて、ID性能とOOD性能の間に線形相関が見られるが、この相関の強度はOODデータセットの選択に大きく依存する。
• 分類モデル（例：RoBERTa、BERT）は生成モデル（例：GPT-2バージョン）よりもIDとOOD性能の間で強い線形相関を示しており、アーキテクチャの違いが一般化の予測可能性に影響している可能性を示唆している。
• LP-FTチューニング戦略は、標準的なファインチューニングに比べてわずかだが一貫したOOD精度の向上をもたらしており、耐性向上への有望な道筋を示している。
• 同じアーキテクチャで事前学習されたモデル（例：ELECTRA-small と ELECTRA-large）は、類似したOOD性能を達成しており、アーキテクチャとスケーリングが耐性の主要要因である可能性を示している。
• MRPCで観察されたIDとOOD性能の逆相関は、タスク固有のデータスパarsityと分布シフトが、逆説的な性能パターンを引き起こす可能性があることを示唆している。