[論文レビュー] A Survey of Large Language Models

Wayne Xin Zhao, Kun Zhou+20 more|ArXiv.org|Mar 31, 2023

Topic Modeling被引用数 1,375

ひとこと要約

この調査は大規模言語モデル（LLMs）に関する最近の進展を概説し、背景、スケーリング法則、出現的能力、事前学習、適応、活用、整合、評価の技術を扱い、利用可能なリソースと今後の方向性を要約する。

ABSTRACT

Language is essentially a complex, intricate system of human expressions governed by grammatical rules. It poses a significant challenge to develop capable AI algorithms for comprehending and grasping a language. As a major approach, language modeling has been widely studied for language understanding and generation in the past two decades, evolving from statistical language models to neural language models. Recently, pre-trained language models (PLMs) have been proposed by pre-training Transformer models over large-scale corpora, showing strong capabilities in solving various NLP tasks. Since researchers have found that model scaling can lead to performance improvement, they further study the scaling effect by increasing the model size to an even larger size. Interestingly, when the parameter scale exceeds a certain level, these enlarged language models not only achieve a significant performance improvement but also show some special abilities that are not present in small-scale language models. To discriminate the difference in parameter scale, the research community has coined the term large language models (LLM) for the PLMs of significant size. Recently, the research on LLMs has been largely advanced by both academia and industry, and a remarkable progress is the launch of ChatGPT, which has attracted widespread attention from society. The technical evolution of LLMs has been making an important impact on the entire AI community, which would revolutionize the way how we develop and use AI algorithms. In this survey, we review the recent advances of LLMs by introducing the background, key findings, and mainstream techniques. In particular, we focus on four major aspects of LLMs, namely pre-training, adaptation tuning, utilization, and capacity evaluation. Besides, we also summarize the available resources for developing LLMs and discuss the remaining issues for future directions.

研究の動機と目的

• 統計的手法からトランスフォーマー基盤へとLLMsの進化と意義を要約し、 massive text data を用いて hundreds of billions のパラメータを持つモデルとしてLLMs の範囲を定義する。
• LLMs の4つの主要な側面を統合する：pre-training、adaptation tuning、utilization、capacity evaluation。
• スケーリング法則、出現的能力、およびLLMの機能を可能にする実用技術を強調する。
• 最新のリソースガイド（例: GitHubプロジェクト）を提供し、残る課題と今後の方向性を議論する。

提案手法

• LLMsとGPT-seriesモデルの背景と進化について論じる。
• KM scaling law および Chinchilla scaling law を含むスケーリング法則を提示・説明し、それらがモデル・データ・計算資源に与える影響を解説する。
• LLMsの出現的能力（in-context learning、instruction following、step-by-step reasoning）と、それらがスケーリングとどのように関連するかを説明する。
• スケーリング、分散訓練、能力誘発、整合調整、ツール／プラグインの統合などの主要技術を概説する。
• 今後の研究開発を導くための実用的リソースと未解決の課題を要約する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルが従来のPLMsと比較して定義される特徴と能力は何か？
• RQ2 スケーリング法則はモデルサイズ、データ、計算資源をどのように性能に結びつけ、それらがLLMsの訓練における実践的意味合いにどのように影響するか？
• RQ3 出現的能力を引き出す技術は何か、整合とツールの活用はLLMの有用性と安全性をどのように高めるか？
• RQ4 LLMの開発・評価・展開を支援するリソース（データ、ツール、プラットフォーム）は何か、そして特定された今後の方向性は何か？

主な発見

• LLMsは出現的能力（in-context learning、instruction following、step-by-step reasoning）を示すが、これは小型モデルには存在しない。
• 2つの代表的なスケーリング法則（KMとChinchilla）は、モデルサイズ、データ、計算が性能に与える影響と最適な配分を説明する。
• 訓練と展開は、分散訓練フレームワーク、最適化のコツ、整合技術（人間のフィードバックを用いた強化学習やinstruction tuningを含む）に依存している。
• 外部ツールとプラグインは、時事情報の最新性や数値的正確性などの限界を克服し、テキスト生成を超えるLLMの能力を広げる。
• この調査は支援資料を備えた厳選されたGitHubリソースを提供し、データ品質、人間の価値観との整合性、解釈性などの継続的な課題について議論している。