[논문 리뷰] Continual Learning of Large Language Models: A Comprehensive Survey

Haizhou Shi, Zihao Xu외 7명|arXiv (Cornell University)|2024. 04. 25.

Natural Language Processing Techniques인용 수 11

한 줄 요약

대형 언어 모델(LLM)에 대한 지속 학습 방법에 대한 포괄적 고찰로, 수직적 및 수평적 연속성, CPT/DAP/CFT 학습 단계, 평가 프로토콜, 그리고 향후 연구 방향을 제시합니다.

ABSTRACT

The recent success of large language models (LLMs) trained on static, pre-collected, general datasets has sparked numerous research directions and applications. One such direction addresses the non-trivial challenge of integrating pre-trained LLMs into dynamic data distributions, task structures, and user preferences. Pre-trained LLMs, when tailored for specific needs, often experience significant performance degradation in previous knowledge domains -- a phenomenon known as "catastrophic forgetting". While extensively studied in the continual learning (CL) community, it presents new manifestations in the realm of LLMs. In this survey, we provide a comprehensive overview of the current research progress on LLMs within the context of CL. This survey is structured into four main sections: we first describe an overview of continually learning LLMs, consisting of two directions of continuity: vertical continuity (or vertical continual learning), i.e., continual adaptation from general to specific capabilities, and horizontal continuity (or horizontal continual learning), i.e., continual adaptation across time and domains (Section 3). We then summarize three stages of learning LLMs in the context of modern CL: Continual Pre-Training (CPT), Domain-Adaptive Pre-training (DAP), and Continual Fine-Tuning (CFT) (Section 4). Then we provide an overview of evaluation protocols for continual learning with LLMs, along with the current available data sources (Section 5). Finally, we discuss intriguing questions pertaining to continual learning for LLMs (Section 6). The full list of papers examined in this survey is available at https://github.com/Wang-ML-Lab/llm-continual-learning-survey.

연구 동기 및 목표

• 과거 지식을 보존하면서도 동적 데이터 분포, 사용자 선호도, 새로운 도메인에 맞춰 사전 학습된 LLM을 적응시키는 동기를 부여한다.
• LLM 지속 학습에서의 두 가지 연속성 방향(수직: 일반에서 구체로, 수평: 시간/도메인)과 그 함의를 명확히 한다.
• 학습 단계(CPT, DAP, CFT)와 그것들이 LLM의 지속 적응과 어떤 관련이 있는지 요약한다.
• LLM의 지속 학습을 평가하기 위한 평가 프로토콜, 데이터 소스 및 벤치마크를 제공한다.
• 앞으로의 과제들을 강조하고 망각을 방지하며 지식 전달을 가능하게 하는 방법론의 우선순위를 제시한다.

제안 방법

• LLM의 적응 목표로서 지시 조정(IT), 모델 정교화(MR), 모델 정렬(MA)을 정의하고 형식화한다.
• LLM과 관련된 재생 기반, 정규화 기반, 아키텍처 기반 접근법으로 지속 학습 기법을 분류한다.
• 태스크 증가형, 도메인 증가형, 클래스 증가형 학습 시나리오와 LLM에의 적용 가능성을 설명한다.
• 수직 지속 학습 단계: 연속적 사전 학습(CPT), 도메인 적응 사전학습(DAP), 그리고 지속적 미세조정(CFT)에 대해 논의한다.
• 수직 및 수평 연속성을 따라 지속적 LLM 개발을 위한 프레임워크를 제시하고, 수직 망각 및 데이터 접근성 제약과 같은 도전과제를 포함한다.

실험 결과

연구 질문

• RQ1 LLM 지속 학습에서의 두 가지 연속성 방향(수직과 수평)이 모델 적응에 어떤 영향을 미치는가?
• RQ2 CPT, DAP, CFT를 어떻게 구성하고 평가하여 망각을 줄이면서 도메인별 능력을 가능하게 할 수 있는가?
• RQ3 LLM의 지속 학습에 대한 평가 프로토콜과 데이터 소스는 무엇이며 어떤 격차가 남아 있는가?
• RQ4 수직 망각(태스크 이질성, 상위 데이터의 접근 불가)에서의 실질적 도전과제는 무엇이며 이를 어떻게 해결할 수 있는가?
• RQ5 LLM의 지속 학습을 발전시키기 위해 필요한 향후 방향과 벤치마크는 무엇인가?

주요 결과

• 본 조사는 LLM 학습에서의 두 가지 핵심 축으로 수직 연속성(일반에서 구체로)과 수평 연속성(시간 및 도메인)을 식별한다.
• 연속 학습의 세 가지 단계로 CPT, DAP, CFT를 강조하며, 각 단계에서의 망각을 다루는 필요성을 강조한다.
• 재생 기반, 정규화 기반, 아키텍처 기반 방법이 LLM의 지속 학습 핵심 도구이며, 재생은 실용적으로 간단하고 효과적이다.
• 수직 망각 및 데이터 접근성 문제는 수직 지속 학습의 주요 도전으로, 태스크 재구성 및 의사 데이터 생성과 같은 전략이 필요하다.
• 망각 방지와 지식 전달을 촉진하는 실용적이고 접근 가능한 평가 벤치마크와 방법론이 evolving LLM 패러다임에 특화되어 필요하다는 점을 촉구한다.