[논문 리뷰] Continual Learning for Large Language Models: A Survey

Tongtong Wu, Linhao Luo외 4명|arXiv (Cornell University)|2024. 02. 02.

Speech Recognition and Synthesis인용 수 23

한 줄 요약

대형 언어 모델(LLMs)에 대한 지속 학습의 포괄적 조사로, 다단계 프레임워크(지속적 사전 학습, 지시 튜닝, 그리고 정렬) 제안 및 벤치마크, 평가, 도전과제, 향후 방향을 개요한다.

ABSTRACT

Large language models (LLMs) are not amenable to frequent re-training, due to high training costs arising from their massive scale. However, updates are necessary to endow LLMs with new skills and keep them up-to-date with rapidly evolving human knowledge. This paper surveys recent works on continual learning for LLMs. Due to the unique nature of LLMs, we catalog continue learning techniques in a novel multi-staged categorization scheme, involving continual pretraining, instruction tuning, and alignment. We contrast continual learning for LLMs with simpler adaptation methods used in smaller models, as well as with other enhancement strategies like retrieval-augmented generation and model editing. Moreover, informed by a discussion of benchmarks and evaluation, we identify several challenges and future work directions for this crucial task.

연구 동기 및 목표

• LLMs의 진화하는 지식, 가치, 그리고 언어 패턴을 반영하기 위해 지속적인 업데이트의 필요성을 동기 부여한다.
• LLMs를 위한 다단계 지속 학습 프레임워크 제안: Continual Pre-training, Continual Instruction Tuning, 그리고 Continual Alignment.
• 단계 전반에 걸친 기존 연구를 카탈로그화하고 업데이트되는 정보(사실, 도메인, 언어, 과제, 가치, 선호도)를 카탈로그화하고 분류한다.
• LLMs를 위한 지속 학습을 RAG(Retrieval-Augmented Generation) 및 모델 편집과 구분한다.
• 벤치마크 개발, 평가 및 효율성에서의 도전과제와 향후 연구 방향을 식별한다.

제안 방법

• LLMs의 지속 학습에 대한 새로운 다단계 분류 체계(CPT, CIT, CA)를 도입한다.
• 단계 전환 중 전이와 망각(cross-stage forgetting)에 대한 교차-단계 관점을 제공한다.
• 각 CPT/CIT/CA 범주에 속한 대표적 연구를 검토한다(사실, 도메인, 언어 확장; 과제/도메인/도구; 가치/선호).
• LLMs에 대한 고유한 목표를 강조하기 위해 지속 학습과 RAG 및 모델 편집을 대조한다.
• 벤치마크 및 평가 지표(FWT, BWT, Avg ACC; GAD, IFD, SD)를 요약하고 평가의 과제를 논의한다.

실험 결과

연구 질문

• RQ1 LLMs의 지속 학습에 적합한 단계와 정보 업데이트는 무엇인가? (CPT, CIT, CA)
• RQ2 단계 전환 전반에서 지속 학습 방법이 어떻게 성능을 발휘하고 망각을 피하는가(교차 단계 망각)
• RQ3 작업, 도메인, 가치에 걸쳐 LLM의 지속 학습을 평가하기에 적합한 벤치마크 및 평가 지표는 무엇인가?
• RQ4 LLMs의 지속 학습은 RAG 및 모델 편집과 같은 적응 방법과 어떻게 다른가?
• RQ5 효율적이고 안전하며 확장 가능한 LLM의 지속 학습에 대한 주요 도전과 향후 방향은 무엇인가?

주요 결과

• LLMs는 지식, 지시 수행, 가치 정렬을 다루는 다단계 지속 학습 접근 방식(CPT, CIT, CA)이 필요하다.
• 단계 간 재개 학습 시 교차 단계 망각이 발생하여 지시 수행 및 일반적 능력에 영향을 줄 수 있다.
• 업데이트되는 정보의 분류체계(사실, 도메인, 언어, 과제, 가치, 선호도)는 CPT, CIT, CA에서 업데이트가 어디에서 일어나는지 명확히 한다.
• CPT, CIT, CA를 위한 표준 벤치마크가 논의되며, 전용 지속 정렬 벤치마크의 부재 등 격차가 강조된다.
• 평가는 FWT, BWT, Avg ACC와 같은 지표와 넓은 영향을 포착하기 위한 교차 단계 차이(GAD, IFD, SD) 측정치를 사용한다.
• 본 조사는 계산 효율성, 사회적 책임, 자동 지속 학습, 제어 가능한 망각, 이력 추적을 주요 향후 방향으로 지목한다.