[論文レビュー] A Survey of GPT-3 Family Large Language Models Including ChatGPT and GPT-4

Katikapalli Subramanyam Kalyan|arXiv (Cornell University)|Oct 4, 2023

Topic Modeling被引用数 21

ひとこと要約

この調査は、GPT-3ファミリーの大規模言語モデル（GPT-3、GPT-3.5、ChatGPT、GPT-4）を基盤、性能、頑健性、データラベリング、評価、将来の方向性の観点で体系的にレビューします。

ABSTRACT

Large language models (LLMs) are a special class of pretrained language models obtained by scaling model size, pretraining corpus and computation. LLMs, because of their large size and pretraining on large volumes of text data, exhibit special abilities which allow them to achieve remarkable performances without any task-specific training in many of the natural language processing tasks. The era of LLMs started with OpenAI GPT-3 model, and the popularity of LLMs is increasing exponentially after the introduction of models like ChatGPT and GPT4. We refer to GPT-3 and its successor OpenAI models, including ChatGPT and GPT4, as GPT-3 family large language models (GLLMs). With the ever-rising popularity of GLLMs, especially in the research community, there is a strong need for a comprehensive survey which summarizes the recent research progress in multiple dimensions and can guide the research community with insightful future research directions. We start the survey paper with foundation concepts like transformers, transfer learning, self-supervised learning, pretrained language models and large language models. We then present a brief overview of GLLMs and discuss the performances of GLLMs in various downstream tasks, specific domains and multiple languages. We also discuss the data labelling and data augmentation abilities of GLLMs, the robustness of GLLMs, the effectiveness of GLLMs as evaluators, and finally, conclude with multiple insightful future research directions. To summarize, this comprehensive survey paper will serve as a good resource for both academic and industry people to stay updated with the latest research related to GPT-3 family large language models.

研究の動機と目的

• GPT-3ファミリー大規模言語モデルの基盤概念を要約する。トランスフォーマー、転移学習、自己教師あり学習を含む。
• GPT-3からChatGPTおよびGPT-4までのGPT-3ファミリーモデルの体系的なレビューを提供し、アーキテクチャ、能力、進化を詳述する。
• 下流のタスク、ドメイン、マルチリンガル設定におけるGLLMsの性能を評価する。
• GLLMsのデータラベリングとデータ拡張能力、および頑健性と評価能力について議論する。
• 現状の能力を超えるGLLMsを進化させる将来の研究方向を特定する。

提案手法

• 2020年6月から2023年9月の間に発表されたGPT-3ファミリーLLMsに関連する350件以上の論文を調査する。
• 基盤概念、モデルファミリの詳細、下流タスクの性能、ドメインとマルチリンガル評価、データラベリング/拡張、GLLMテキストの検出、頑健性、評価者に内容を整理する。
• 頑健性、評価、将来の方向性に関する洞察を、幅広い研究から統合する。

実験結果

リサーチクエスチョン

• RQ1 GPT-3ファミリーLLMsを可能にする基盤概念は何で、どのように進化してきたか？
• RQ2 GPT-3ファミリーモデルは、さまざまな下流NLPタスクやドメインでどのような性能を示すか？
• RQ3 GLLMsのデータラベリング、データ拡張、および多言語性能にはどんな能力と限界があるか？
• RQ4 GLLMsはどれくらい頑健で、生成テキストが関わる場合にどのように評価・検出されるべきか？
• RQ5 GLLMsをさらに改善するために最も有望な将来の方向性は何か？

主な発見

• GPT-3ファミリーLLMsは、微調整を伴わずにイン-context学習とタスク一般化を可能にするために、トランスフォーマー、自己教師あり学習、および転移学習を活用します。
• GPT-3、GPT-3.5、ChatGPT、GPT-4は、テキスト分類、情報抽出、QA、翻訳、要約、対話、検索、コーディング、マルチモーダルタスクなど、広範な能力を示します。
• GLLMsはパラフレージングやデータ生成を含むデータラベリングとデータ拡張機能を示し、下流のデータパイプラインに影響を与えます。
• GLLMsの頑健性と評価は活発な研究分野であり、GLLM生成テキストの検出と、言語とドメインを横断した公正な評価の確保に向けた取り組みが進行中です。
• この調査は、頑健性の向上、レッドチーミング、ドメイン特化の性能改善、推論コストの削減といった複数の将来方向を提案します。