[論文レビュー] A Comprehensive Overview of Large Language Models

Humza Naveed, Asad Ullah Khan+7 more|arXiv (Cornell University)|Jul 12, 2023

Topic Modeling被引用数 351

ひとこと要約

この論文は、アーキテクチャ、訓練、ファインチューニング、多モーダル拡張、データセット、評価、効率性、将来の課題を網羅する、自己完結型の総合的な大規模言語モデル（LLMs）に関する調査です。主要な事前学習済み LLM の詳細な要約と、研究者・実務者への実践的なガイダンスも提供します。

ABSTRACT

Large Language Models (LLMs) have recently demonstrated remarkable capabilities in natural language processing tasks and beyond. This success of LLMs has led to a large influx of research contributions in this direction. These works encompass diverse topics such as architectural innovations, better training strategies, context length improvements, fine-tuning, multi-modal LLMs, robotics, datasets, benchmarking, efficiency, and more. With the rapid development of techniques and regular breakthroughs in LLM research, it has become considerably challenging to perceive the bigger picture of the advances in this direction. Considering the rapidly emerging plethora of literature on LLMs, it is imperative that the research community is able to benefit from a concise yet comprehensive overview of the recent developments in this field. This article provides an overview of the existing literature on a broad range of LLM-related concepts. Our self-contained comprehensive overview of LLMs discusses relevant background concepts along with covering the advanced topics at the frontier of research in LLMs. This review article is intended to not only provide a systematic survey but also a quick comprehensive reference for the researchers and practitioners to draw insights from extensive informative summaries of the existing works to advance the LLM research.

研究の動機と目的

• 最近の大規模言語モデル（LLMs）に関する簡潔で網羅的な概観を提供する。
• 事前学習済み LLM のアーキテクチャと訓練の詳細を、細部にわたって要約する。
• ファインチューニング、マルチモーダルLLMs、拡張LLMs、データセット、ベンチマーク、評価、デプロイメントに関する検討事項を論じる。

提案手法

• 背景、アーキテクチャ、訓練パイプライン、戦略を提示するために、LLM文献を調査する。
• アーキテクチャと訓練の詳細を表にまとめた、著名な事前学習済みLLMsを要約する。
• 実務者向けの設定、評価、データセット、ベンチマーク、実用的な考慮事項を論じる。

Figure 1: The trend of papers released over years containing keywords “Large Language Model”, “Large Language Model + Fine-Tuning”, and “Large Language Model + Alignment”.

実験結果

リサーチクエスチョン

• RQ1 主要なLLMsにおける主要なアーキテクチャ選択と訓練戦略は何か？
• RQ2 ファインチューニング、指示調整（instruction-tuning）、整合性調整（alignment-tuning）は、ゼロショットおよび数ショットの性能にどう影響しますか？
• RQ3 LLMsを評価するために用いられるデータセット、ベンチマーク、評価手法は何か、特定された課題は何か？
• RQ4 LLM研究と実践における効率性、デプロイメント、安全性の考慮事項は何か？

主な発見

• LLMsは、インストラクション・チューニング済みモデルへと、そしてますますオープンソース化が進んでいます。
• 推論や文脈内学習などの新出現能力が大規模化で現れ、広範な応用に影響を与えています。
• コスト削減のため、パラメータ効率的なチューニング、プルーニング、量子化、MoE、文脈長戦略などの効率化手法が活発に研究されています。
• 事実性と人間の嗜好への整合性を重視した評価のため、LLMsを評価するための広範なデータセットとベンチマークが用いられている。
• 研究者は、ロボティクスやツール使用を含む、マルチモーダルおよびエージェント指向の設定へLLMsを拡張しています。
• 課題には、事実性、人間の価値観への整合性、安全性、訓練と推論の資源集約性が含まれます。

Figure 2: Chronological display of LLM releases: light blue rectangles represent ‘pre-trained’ models, while dark rectangles correspond to ‘instruction-tuned’ models. Models on the upper half signify open-source availability, whereas those on the bottom half are closed-source. The chart illustrates