[論文レビュー] How Robust is GPT-3.5 to Predecessors? A Comprehensive Study on Language Understanding Tasks

Xuanting Chen, Junjie Ye+8 more|arXiv (Cornell University)|Mar 1, 2023

Topic Modeling被引用数 34

ひとこと要約

本論文はGPT-3.5の堅牢性を、21データセット（≈116Kのテストサンプル）と9つのNLUタスクにわたる66のTextFlint変換で分析し、顕著な堅牢性の低下とプロンプト/数値感度を明らかにする。

ABSTRACT

The GPT-3.5 models have demonstrated impressive performance in various Natural Language Processing (NLP) tasks, showcasing their strong understanding and reasoning capabilities. However, their robustness and abilities to handle various complexities of the open world have yet to be explored, which is especially crucial in assessing the stability of models and is a key aspect of trustworthy AI. In this study, we perform a comprehensive experimental analysis of GPT-3.5, exploring its robustness using 21 datasets (about 116K test samples) with 66 text transformations from TextFlint that cover 9 popular Natural Language Understanding (NLU) tasks. Our findings indicate that while GPT-3.5 outperforms existing fine-tuned models on some tasks, it still encounters significant robustness degradation, such as its average performance dropping by up to 35.74\% and 43.59\% in natural language inference and sentiment analysis tasks, respectively. We also show that GPT-3.5 faces some specific robustness challenges, including robustness instability, prompt sensitivity, and number sensitivity. These insights are valuable for understanding its limitations and guiding future research in addressing these challenges to enhance GPT-3.5's overall performance and generalization abilities.

研究の動機と目的

• 多様な自然言語理解タスクにおけるGPT-3.5の堅牢性を評価する。
• TextFlintの広範なテキスト変換の下での劣化を定量化する。
• 不安定性、プロンプト感度、数値感度など、特定の堅牢性課題を特定する。

提案手法

• 9つのNLUタスクにまたがる約116Kのテストサンプルを含む21データセットを使用する。
• 堅牢性を評価するためにTextFlintの66のテキスト変換を適用する。
• 性能の変化を報告し、不安定性、プロンプト感度、数値感度などの堅牢性現象を特定する。

実験結果

リサーチクエスチョン

• RQ1 TextFlint変換を受けた場合、複数のNLUタスクにおけるGPT-3.5の堅牢性はどの程度か。
• RQ2 GPT-3.5で観測される主要な堅牢性課題（不安定性、プロンプト感度、数値感度）は何か。
• RQ3 変換下で自然言語推論や感情分析などのタスクでGPT-3.5の性能はどのように低下するか。
• RQ4 これらのタスクにおける堅牢性でGPT-3.5はファインチューニング済みモデルとどう比較されるか。

主な発見

• GPT-3.5は特定のタスクでいくつかのファインチューニングモデルを上回るが、全体としては顕著な堅牢性の低下を示す。
• 平均性能は自然言語推論タスクで最大35.74%低下することがある。
• 感情分析タスクでは平均性能が最大43.59%低下することがある。
• GPT-3.5は顕著な課題として堅牢性の不安定性、プロンプト感度、数値感度を示す。