[論文レビュー] Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies

Benjue Weng|arXiv (Cornell University)|Apr 13, 2024

Topic Modeling被引用数 7

ひとこと要約

大規模言語モデルのファインチューニングパラダイムを網羅的にレビューする。タスク/ドメイン適応、少数ショット学習、蒸留、マルチタスク学習、LoRAやPrefix-Tuningなどのパラメータ効率法を含む。

ABSTRACT

With the surge of ChatGPT,the use of large models has significantly increased,rapidly rising to prominence across the industry and sweeping across the internet. This article is a comprehensive review of fine-tuning methods for large models. This paper investigates the latest technological advancements and the application of advanced methods in aspects such as task-adaptive fine-tuning,domain-adaptive fine-tuning,few-shot learning,knowledge distillation,multi-task learning,parameter-efficient fine-tuning,and dynamic fine-tuning.

研究の動機と目的

• Transformerベースの言語モデルの進化を概観し、ファインチューニング手法の基礎を築く。
• 事前学習済みモデルを適応させるためのタスク特異的およびドメイン特異的なファインチューニング手法を分析する。
• 少数ショット学習、知識蒸留、マルチタスク学習、動的ファインチューニング、パラメータ効率的ファインチューニングなどの高度な戦略を検討する。

提案手法

• 注意機構、エンコーダ・デコーダ、位置エンコーディングなど、Transformerの基本を説明する。
• ファインチューニング戦略をタスク特異的、ドメイン特異的、少数ショット、蒸留、マルチタスク、動的アプローチに体系的に分類する。
• パラメータ効率的ファインチューニング手法（アダプター、Prefix-Tuning、LoRA）とそのトレードオフを論じる。
• 動的ファインチューニングの概観と進化するデータへの適用性を提示する。
• テキスト分類データセットを横断したモデルサイズとLoRAに焦点を当てた比較実験コンテキストを提供する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルのファインチューニングの主要なパラダイムは何であり、それらはどのように異なるのか？
• RQ2 タスク適応、ドメイン適応、少数ショット戦略はモデルの性能と効率にどのように影響するか？
• RQ3 知識蒸留、マルチタスク学習、動的ファインチューニングはLLMsを活用する上でどのような役割を果たすか？
• RQ4 パラメータ効率的なファインチューニング手法は、効率性と有効性の点でどのように比較されるか？
• RQ5 モデルサイズの拡大とLoRAのような専門的ファインチューニング手法の現実的な影響は何か？

主な発見

• 本稿は、TransformerベースのLLMに適用可能な幅広いファインチューニング手法を統合している。
• PEFT手法 like LoRA、Prefix-Tuning、Adaptersは、訓練可能なパラメータを大幅に少なくしてファインチューニングを可能にする。
• 動的ファインチューニングとタスク/ドメイン適応は、進化するタスクとデータに合わせる上で重要であると強調されている。
• 議論には、複数のテキスト分類データセットにわたるモデルサイズとLoRAの比較コンテキストが含まれる。
• この研究は再現用の実験コードを含む付随のGitHubリポジトリを参照している。