[論文レビュー] Towards Incremental Learning in Large Language Models: A Critical Review

Mladjan Jovanovic, Peter Voß|arXiv (Cornell University)|Apr 28, 2024

Topic Modeling被引用数 8

ひとこと要約

この論文は、大規模言語モデルにおけるインクリメンタル学習を概観し、継続的学習、メタ学習、パラメータ効率的学習、エキスパート混成学習といったパラダイムを強調し、多くのアプローチがコアモデルを更新しない点と、リアルタイムでインクリメンタルに動作するものがない点を指摘します。

ABSTRACT

Incremental learning is the ability of systems to acquire knowledge over time, enabling their adaptation and generalization to novel tasks. It is a critical ability for intelligent, real-world systems, especially when data changes frequently or is limited. This review provides a comprehensive analysis of incremental learning in Large Language Models. It synthesizes the state-of-the-art incremental learning paradigms, including continual learning, meta-learning, parameter-efficient learning, and mixture-of-experts learning. We demonstrate their utility for incremental learning by describing specific achievements from these related topics and their critical factors. An important finding is that many of these approaches do not update the core model, and none of them update incrementally in real-time. The paper highlights current problems and challenges for future research in the field. By consolidating the latest relevant research developments, this review offers a comprehensive understanding of incremental learning and its implications for designing and developing LLM-based learning systems.

研究の動機と目的

• LLMs に対するインクリメンタル学習を定義し、変化するデータや限られたデータに適応する重要性を動機づける。
• 最新のインクリメンタル学習パラダイムを統合し、それらのLLMs への適用可能性を整理する。
• 現在のアプローチの重要な要因と限界を特定し、今後の研究のための指針を提示する。

提案手法

• 継続学習、メタ学習、パラメータ効率型学習、およびエキスパート混成学習にわたる文献を調査・統合する。
• 各パラダイムがLLMsにおけるインクリメンタルな知識獲得をどのように支援するかを整理する。
• インクリメンタル設定で成功に影響を与える実務的な考慮事項と要因を強調する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルに最も関連の深いインクリメンタル学習パラダイムは何か？
• RQ2 これらのパラダイムはモデルの更新とリアルタイム適応に関してどのように機能するか？
• RQ3 LLMsにおける真のインクリメンタル学習を妨げる主な課題とギャップは何か？

主な発見

• 多くのインクリメンタル学習アプローチはコアモデルを更新しない。
• 調査対象の方法のいずれも、LLMsに対して真のリアルタイムのインクリメンタル更新を達成していない。
• 本レビューは最近の研究を統合し、LLMsにおけるインクリメンタル学習の課題と今後の方向性を概説する。