[논문 리뷰] TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models

Xiao Wang, Yuansen Zhang외 10명|arXiv (Cornell University)|2023. 10. 10.

Topic Modeling인용 수 4

한 줄 요약

TRACE는 도메인 특화 작업, 다국어 이해, 코드 생성 및 수학적 추론을 포함한 다양한 분야의 표준화된 8개 데이터셋을 포함하는, 정렬된 대규모 언어 모델(Large Language Models, LLMs)에서 지속적 학습을 평가하기 위한 종합적인 벤치마크를 소개한다. 연구 결과, 극심한 카오스티크 패러다임(예: Llama2-13B의 GSM8K 정확도가 28.8%에서 2%로 감소)이 드러났으며, 이에 대비해 추론 보강 지속 학습(Reasoning-augmented Continual Learning, RCL)을 제안한다. RCL는 메타 추론과 작업별 특화 신호를 활용하여 기억 상실을 줄이고 수렴 속도를 높인다.

ABSTRACT

Aligned large language models (LLMs) demonstrate exceptional capabilities in task-solving, following instructions, and ensuring safety. However, the continual learning aspect of these aligned LLMs has been largely overlooked. Existing continual learning benchmarks lack sufficient challenge for leading aligned LLMs, owing to both their simplicity and the models' potential exposure during instruction tuning. In this paper, we introduce TRACE, a novel benchmark designed to evaluate continual learning in LLMs. TRACE consists of 8 distinct datasets spanning challenging tasks including domain-specific tasks, multilingual capabilities, code generation, and mathematical reasoning. All datasets are standardized into a unified format, allowing for effortless automatic evaluation of LLMs. Our experiments show that after training on TRACE, aligned LLMs exhibit significant declines in both general ability and instruction-following capabilities. For example, the accuracy of llama2-chat 13B on gsm8k dataset declined precipitously from 28.8\% to 2\% after training on our datasets. This highlights the challenge of finding a suitable tradeoff between achieving performance on specific tasks while preserving the original prowess of LLMs. Empirical findings suggest that tasks inherently equipped with reasoning paths contribute significantly to preserving certain capabilities of LLMs against potential declines. Motivated by this, we introduce the Reasoning-augmented Continual Learning (RCL) approach. RCL integrates task-specific cues with meta-rationales, effectively reducing catastrophic forgetting in LLMs while expediting convergence on novel tasks.

연구 동기 및 목표

• 정렬된 LLM에서 지속적 학습을 평가하기 위한 도전적이고 현실적인 벤치마크의 부족을 해결하기 위해.
• 다양하고 복잡한 작업에 대해 점진적으로 훈련될 때 최신 LLM에서의 카오스티크 패러다임을 조사하기 위해.
• 지속적 학습이 LLM의 일반 능력, 지시 따르기 능력 및 안전성에 미치는 영향을 평가하기 위해.
• 추론 보강 학습이 기억 상실을 완화하면서도 새로운 작업에 대한 수렴 속도를 향상시킬 수 있는지 탐색하기 위해.
• 통일된 형식과 새로운 메트릭을 갖춘 표준화되고 평가 가능한 벤치마크를 제공하기 위해.

제안 방법

• 도메인 특화 작업, 다국어 이해, 코드 생성 및 수학적 추론를 포함하는 8개의 다양한 표준화된 데이터셋을 포함하는 TRACE를 설계한다.
• 분류 작업의 경우 클래스 균형 분할을 기반으로 각 작업당 5,000개의 균형 잡힌 인스턴스를 샘플링한다.
• 일반 능력 디타, 지시 따르기 디타, 안전성 디타의 세 가지 새로운 평가 메트릭을 도입하여 핵심 LLM 능력에서의 기억 상실을 정량화한다.
• 안전성 및 유용성 평가에서 모델 응답의 자동이고 객관적인 평가를 위해 GPT-4를 심판으로 사용한다.
• 훈련 중에 모델이 추론 과정과 작업 분석을 생성하도록 유도하는 추론 보강 지속 학습(RCL)을 제안한다.
• 메타 추론과 작업별 특화 신호를 활용하여 RCL를 적용함으로써 점진적 훈련 중 원래 모델 능력의 유지 향상을 도모한다.

실험 결과

연구 질문

• RQ1 다양하고 복잡한 작업에 대해 점진적으로 훈련될 때 정렬된 LLM이 얼마나 심각한 카오스티크 패러다임을 겪는가?
• RQ2 지속적 학습은 LLM의 일반적 추론, 지시 따르기 능력 및 안전성 능력에 어떤 영향을 미치는가?
• RQ3 추론 보강 학습이 카오스티크 패러다임을 완화하면서도 새로운 작업에 대한 수렴 속도를 향상시킬 수 있는가?
• RQ4 추론 경로는 지속적 학습 중 모델 능력을 유지하는 데 어떤 역할을 하는가?
• RQ5 전체 파rameter 미세조정와 파라미터 효율적 미세조정(LoRA)은 기억 상실과 성능 측면에서 어떻게 비교되는가?

주요 결과

• Llama2-13B의 TRACE에서의 점진적 훈련 후 GSM8K 정확도가 28.8%에서 2%로 감소하여 수학적 추론 능력에서 극심한 카오스티크 패러다임이 발생함을 시사한다.
• 다국어 이해 능력은 지속적 학습 중에 향상되었으며, Llama2-7B의 TydiQA F1 점수는 23.47에서 33.23으로 상승하여 이 분야에서 긍정적 전이가 발생했음을 시사한다.
• 전체 파rameter 미세조정은 더 강한 작업 적합도를 보였지만, LoRA에 비해 일반 능력에서 훨씬 더 심각한 기억 상실을 겪었다.
• 지속적 학습 후 지시 따르기 능력이 상당히 저하되어 정렬된 LLM에서의 핵심 취약점을 드러낸다.
• 명시적인 추론 경로를 포함한 작업는 그렇지 않은 작업보다 모델 능력을 더 잘 유지했으며, 이는 추론 통합이 기억 상실을 완화시킬 수 있음을 시사한다.
• 제안된 RCL 방법은 모델이 훈련 중에 추론 과정과 작업 분석을 생성하도록 유도함으로써 기억 상실을 줄이고 수렴 속도를 가속화했다.