[論文レビュー] A Comprehensive Capability Analysis of GPT-3 and GPT-3.5 Series Models

Junjie Ye, Xuanting Chen+13 more|arXiv (Cornell University)|Mar 18, 2023

Topic Modeling被引用数 186

ひとこと要約

本論文は、GPT-3およびGPT-3.5シリーズを9つのNLUタスク、21のデータセットに渡って分析し、ゼロショットとfew-shotの性能を比較し、RLHFは生成品質を向上させる一方で一部タスクには悪影響を及ぼす可能性があることを示している。

ABSTRACT

GPT series models, such as GPT-3, CodeX, InstructGPT, ChatGPT, and so on, have gained considerable attention due to their exceptional natural language processing capabilities. However, despite the abundance of research on the difference in capabilities between GPT series models and fine-tuned models, there has been limited attention given to the evolution of GPT series models' capabilities over time. To conduct a comprehensive analysis of the capabilities of GPT series models, we select six representative models, comprising two GPT-3 series models (i.e., davinci and text-davinci-001) and four GPT-3.5 series models (i.e., code-davinci-002, text-davinci-002, text-davinci-003, and gpt-3.5-turbo). We evaluate their performance on nine natural language understanding (NLU) tasks using 21 datasets. In particular, we compare the performance and robustness of different models for each task under zero-shot and few-shot scenarios. Our extensive experiments reveal that the overall ability of GPT series models on NLU tasks does not increase gradually as the models evolve, especially with the introduction of the RLHF training strategy. While this strategy enhances the models' ability to generate human-like responses, it also compromises their ability to solve some tasks. Furthermore, our findings indicate that there is still room for improvement in areas such as model robustness.

研究の動機と目的

• GPT-3およびGPT-3.5シリーズの能力が時間とともにどのように進化するかを理解する。
• 複数のNLUタスクとデータセットにわたって、GPT-3とGPT-3.5モデルを比較する。
• 各モデル-タスクペアにおけるゼロショットおよびfew-shotの性能を評価する。
• 堅牢性を評価し、改善が必要な点を特定する。
• 能力に対する人間のフィードバックからの強化学習（RLHF）の影響を分析する。

提案手法

• GPT-3およびGPT-3.5シリーズから代表的な6モデルを選定する（davinci, text-davinci-001, code-davinci-002, text-davinci-002, text-davinci-003, gpt-3.5-turbo）。
• 九つの自然言語理解タスクにおけるモデル性能を21データセットを用いて評価する。
• 各タスクとモデルについてゼロショットとfew-shotの設定を比較する。
• タスクと設定を横断したモデルの堅牢性を評価する。
• RLHFトレーニングがタスク性能と生成品質にどのように影響するかを分析する。
• 能力の進化を跨いだモデル間統合を提供する。

実験結果

リサーチクエスチョン

• RQ1 GPT-3およびGPT-3.5モデルは、評価対象のNLUタスク全体で漸進的な改善を示すのか。
• RQ2 RLHFはモデル間のタスク解決能力と生成品質のバランスにどのように影響するか。
• RQ3 これらのタスクにおけるGPT-3とGPT-3.5の堅牢性特性は何か。
• RQ4 新しいモデルが初期のものに比べて性能が劣る特定のタスクはあるか。

主な発見

• NLUタスクにおけるGPTシリーズの全体的な能力は、モデルの進化とともに漸進的に向上するとは限らない。
• RLHFトレーニングは生成をより人間らしく向上させるが、いくつかのタスクで性能を損なう可能性がある。
• タスク全体を通じたモデルの堅牢性にはまだ大きな改善余地がある。
• GPT-3とGPT-3.5シリーズの性能差はタスクと設定に依存する。
• 本研究は、RLHFによって生じる生成品質とタスク解決能力のトレードオフを強調している。