[論文レビュー] Continual Learning of Large Language Models: A Comprehensive Survey

Haizhou Shi, Zihao Xu+7 more|arXiv (Cornell University)|Apr 25, 2024

Natural Language Processing Techniques被引用数 11

ひとこと要約

大規模言語モデル（LLMs）の継続的学習アプローチの包括的な調査で、垂直的・水平的継続性、CPT/DAP/CFT学習段階、評価プロトコル、および将来の研究方向性を概説する。

ABSTRACT

The recent success of large language models (LLMs) trained on static, pre-collected, general datasets has sparked numerous research directions and applications. One such direction addresses the non-trivial challenge of integrating pre-trained LLMs into dynamic data distributions, task structures, and user preferences. Pre-trained LLMs, when tailored for specific needs, often experience significant performance degradation in previous knowledge domains -- a phenomenon known as "catastrophic forgetting". While extensively studied in the continual learning (CL) community, it presents new manifestations in the realm of LLMs. In this survey, we provide a comprehensive overview of the current research progress on LLMs within the context of CL. This survey is structured into four main sections: we first describe an overview of continually learning LLMs, consisting of two directions of continuity: vertical continuity (or vertical continual learning), i.e., continual adaptation from general to specific capabilities, and horizontal continuity (or horizontal continual learning), i.e., continual adaptation across time and domains (Section 3). We then summarize three stages of learning LLMs in the context of modern CL: Continual Pre-Training (CPT), Domain-Adaptive Pre-training (DAP), and Continual Fine-Tuning (CFT) (Section 4). Then we provide an overview of evaluation protocols for continual learning with LLMs, along with the current available data sources (Section 5). Finally, we discuss intriguing questions pertaining to continual learning for LLMs (Section 6). The full list of papers examined in this survey is available at https://github.com/Wang-ML-Lab/llm-continual-learning-survey.

研究の動機と目的

• 過去の知識を保持しつつ、動的なデータ分布、ユーザーの好み、新しいドメインに適応した事前学習済みLLMsの適応を動機づける。
• LLM継続学習における二つの継続方向を明確にする：垂直（一般的から特定へ）と水平（時間/ドメイン）、そしてそれらの含意。
• 学習段階（CPT、DAP、CFT）を要約し、それらがLLMsの継続的適応にどのように関連するか。
• LLMsの継続学習を評価するための評価プロトコル、データソース、およびベンチマークを提供する。
• 忘却に対処し知識移転を促進するための方法論を優先付け、未解決の課題を強調する。

提案手法

• LLMsの適応目的として、インストラクションチューニング（IT）、モデルリファインメント（MR）、およびモデルアラインメント（MA）を定義・形式化する。
• LLMsに関連するリプレイ型、正則化型、アーキテクチャ型の継続学習手法に分類する。
• タスクインクリメンタル、ドメインインクリメンタル、クラスインクリメンタル学習シナリオと、それらのLLMsへの適用可能性を説明する。
• 垂直継続学習段階： continual pre-training (CPT)、domain-adaptive pre-training (DAP)、および continual fine-tuning (CFT) を論じる。
• 垂直・水平の継続性に沿った継続的LLM開発のためのフレームワークを提示し、垂直忘却やデータアクセス制約などの課題を含む。

実験結果

リサーチクエスチョン

• RQ1 LLMsの継続学習における主要な継続形態（垂直と水平）は何か、そしてそれらはモデル適応にどのような影響を与えるか？
• RQ2 CPT、DAP、CFTをどのように整理・評価して忘却を軽減しつつドメイン特有の機能を可能にできるか？
• RQ3 LLMsの継続学習のための評価プロトコルとデータソースは何があり、どのギャップが残っているか？
• RQ4 垂直忘却（タスクの異質性、上流データへのアクセス不能）における実践的な課題は何か、そしてそれらはどう対処できるか？
• RQ5 LLMsの継続学習を進めるために必要な今後の方向性とベンチマークは何か？

主な発見

• 本調査は、垂直的継続性（一般から特定へ）と水平的継続性（時間とドメインを横断）を、継続LLM学習の二つの重要な軸として特定している。
• CPT、DAP、CFTを継続的なLLM学習と適応の三段階として強調し、それぞれの段階で忘却に対処する必要性を強調している。
• リプレイ型、正則化型、アーキテクチャ型の手法がLLMsの継続学習の中核的ツールキットを形成し、リプレイは実務上は単純でありながら有効である。
• 垂直忘却とデータアクセスの問題は垂直継続学習における主要な課題をもたらし、タスク再構成や疑似データ生成といった戦略を必要とする。
• 忘却に対抗し、進化するLLMのパラダイムで知識移転を促進するために、実用的でアクセスしやすい評価ベンチマークと手法が求められている。