[論文レビュー] History, Development, and Principles of Large Language Models-An Introductory Survey

Zichong Wang, Zhibo Chu+4 more|arXiv (Cornell University)|Feb 10, 2024

Topic Modeling被引用数 9

ひとこと要約

この論文は、大規模言語モデル（LLMs）の歴史、発展、核心原理、応用、欠点、将来の方向性について初心者向けの概要を提供する。

ABSTRACT

Language models serve as a cornerstone in natural language processing (NLP), utilizing mathematical methods to generalize language laws and knowledge for prediction and generation. Over extensive research spanning decades, language modeling has progressed from initial statistical language models (SLMs) to the contemporary landscape of large language models (LLMs). Notably, the swift evolution of LLMs has reached the ability to process, understand, and generate human-level text. Nevertheless, despite the significant advantages that LLMs offer in improving both work and personal lives, the limited understanding among general practitioners about the background and principles of these models hampers their full potential. Notably, most LLM reviews focus on specific aspects and utilize specialized language, posing a challenge for practitioners lacking relevant background knowledge. In light of this, this survey aims to present a comprehensible overview of LLMs to assist a broader audience. It strives to facilitate a comprehensive understanding by exploring the historical background of language models and tracing their evolution over time. The survey further investigates the factors influencing the development of LLMs, emphasizing key contributions. Additionally, it concentrates on elucidating the underlying principles of LLMs, equipping audiences with essential theoretical knowledge. The survey also highlights the limitations of existing work and points out promising future directions.

研究の動機と目的

• SLMs から LLMs への歴史的な推移を説明し、LLMs の成長を牽引する主要な要因を特定する。
• GPT を身近な例として用い、LLMs を支える核心原理とアーキテクチャを明らかにする。
• 医薬品探索、金融、医療、法務などの分野にわたる LLMs の応用を概観する。
• 現在の欠点を批判的に論じ、今後の有望な研究方向を概説する。

提案手法

• 言語モデルのカテゴリ（SLMs, NLMs, PLMs, LLMs）とその進化の歴史的分析。
• GPT 系列とトランスフォーマーに基づく説明を用いて原理を示す。
• データの多様性、計算資源、アルゴリズムの革新を LLM 開発の推進要因として議論する。
• 複数の分野にわたる LLM の応用を例とともに示す。
• 公正性やバイアスなどの制約と今後の方向性を提示する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルの歴史的推移と現状は何か？
• RQ2 データ、計算、アルゴリズムなど、LLMs の急速な発展を促した要因は何か？
• RQ3 LLMs を支える基本的原理とアーキテクチャは何か？
• RQ4 医療、金融、法務などの分野における LLM の実用的な応用は何か？
• RQ5 現在の LLM の主な欠点と今後の研究の方向性は何か？

主な発見

• LLMs は統計的言語モデルからニューラル言語モデルへの推移の上に築かれ、非常に大規模で高度に能力を持つモデルへと集約される。
• 自己注意機構を備えたトランスフォーマーアーキテクチャと大規模な事前学習は、GPT-3 や GPT-4 のような現代の LLM の基盤となっている。
• GPT-3 は文脈利用と大規模なパラメータ数（1750億）と広範な訓練データを示し、スケール効果を例示している。
• データの多様性、計算資源、アルゴリズム革新が LLM の能力と成長の中心的な推進要因である。
• LLMs は医薬品探索、金融、医療、法務などの分野で進展を可能にする一方、公平性と偏りの懸念を生じさせ、緩和策が必要である。