[논문 리뷰] Towards Incremental Learning in Large Language Models: A Critical Review

Mladjan Jovanovic, Peter Voß|arXiv (Cornell University)|2024. 04. 28.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 대형 언어 모델에서 증분 학습을 조사하며, 지속적 학습, 메타 학습, 매개변수 효율 방법, 전문가 혼합 학습과 같은 패러다임을 강조하고, 한 가지 격차를 지적한다: 대부분의 접근은 핵심 모델을 업데이트하지 않으며, 어떤 방법도 실제로 실시간으로 증분 업데이트를 수행하지 않는다.

ABSTRACT

Incremental learning is the ability of systems to acquire knowledge over time, enabling their adaptation and generalization to novel tasks. It is a critical ability for intelligent, real-world systems, especially when data changes frequently or is limited. This review provides a comprehensive analysis of incremental learning in Large Language Models. It synthesizes the state-of-the-art incremental learning paradigms, including continual learning, meta-learning, parameter-efficient learning, and mixture-of-experts learning. We demonstrate their utility for incremental learning by describing specific achievements from these related topics and their critical factors. An important finding is that many of these approaches do not update the core model, and none of them update incrementally in real-time. The paper highlights current problems and challenges for future research in the field. By consolidating the latest relevant research developments, this review offers a comprehensive understanding of incremental learning and its implications for designing and developing LLM-based learning systems.

연구 동기 및 목표

• LLMs에 대한 증분 학습의 정의와 변화하거나 제한된 데이터에 적응하는 중요성의 동기를 제시한다.
• 최신 증분 학습 패러다임과 그것의 LLM 적용 가능성을 종합한다.
• 현 접근 방법의 주요 요인과 한계를 파악하여 향후 연구 방향을 제시한다.

제안 방법

• 지속적 학습, 메타 학습, 매개변수 효율 학습, 그리고 전문가 혼합 학습에 걸친 문헌을 조사하고, 이를 통합한다.
• 각 패러다임이 LLM에서 증분 지식 습득을 어떻게 지원하는지 매핑한다.
• 증분 설정에서의 성공에 영향을 미치는 실용적 고려사항과 요인을 강조한다.

실험 결과

연구 질문

• RQ1 대형 언어 모델과 관련된 가장 관련성 높은 증분 학습 패러다임은 무엇인가?
• RQ2 이 패러다임은 모델 업데이트 및 실시간 적응 측면에서 어떻게 성능을 발휘하는가?
• RQ3 LLMs에서 진정한 증분 학습을 저해하는 주요 도전과 격차는 무엇인가?

주요 결과

• 많은 증분 학습 접근은 핵심 모델을 업데이트하지 않는다.
• 조사된 방법들 중 어느 것도 LLMs에 대해 진정한 실시간 증분 업데이트를 달성하지 못한다.
• 이 리뷰는 최근 연구를 종합하여 LLMs의 증분 학습에 대한 도전과 향후 방향을 개요로 제시한다.