[論文レビュー] TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models

Xiao Wang, Yuansen Zhang+10 more|arXiv (Cornell University)|Oct 10, 2023

Topic Modeling被引用数 4

ひとこと要約

TRACEは、分野特化タスク、多言語理解、コード生成、数学的推論をカバーする8つの多様で標準化されたデータセットを備えた、整列済み大規模言語モデル（LLM）における継続的学習を評価する包括的ベンチマークを導入する。研究では、深刻な「消去的忘却（catastrophic forgetting）」が顕在化しており、例えばLlama2-13BのGSM8K正答率は28.8%から2%に低下した。また、推論を補強する継続的学習（RCL）を提案し、メタ推論とタスク固有のキーワードを用いて忘却を軽減するとともに収束を加速する。

ABSTRACT

Aligned large language models (LLMs) demonstrate exceptional capabilities in task-solving, following instructions, and ensuring safety. However, the continual learning aspect of these aligned LLMs has been largely overlooked. Existing continual learning benchmarks lack sufficient challenge for leading aligned LLMs, owing to both their simplicity and the models' potential exposure during instruction tuning. In this paper, we introduce TRACE, a novel benchmark designed to evaluate continual learning in LLMs. TRACE consists of 8 distinct datasets spanning challenging tasks including domain-specific tasks, multilingual capabilities, code generation, and mathematical reasoning. All datasets are standardized into a unified format, allowing for effortless automatic evaluation of LLMs. Our experiments show that after training on TRACE, aligned LLMs exhibit significant declines in both general ability and instruction-following capabilities. For example, the accuracy of llama2-chat 13B on gsm8k dataset declined precipitously from 28.8\% to 2\% after training on our datasets. This highlights the challenge of finding a suitable tradeoff between achieving performance on specific tasks while preserving the original prowess of LLMs. Empirical findings suggest that tasks inherently equipped with reasoning paths contribute significantly to preserving certain capabilities of LLMs against potential declines. Motivated by this, we introduce the Reasoning-augmented Continual Learning (RCL) approach. RCL integrates task-specific cues with meta-rationales, effectively reducing catastrophic forgetting in LLMs while expediting convergence on novel tasks.

研究の動機と目的

• 整列済みLLMにおける継続的学習を評価するための、挑戦的で現実的であるが、標準化されたベンチマークの不足を解消すること。
• 多様で複雑なタスクに段階的に学習させた際、最先端のLLMがどの程度「消去的忘却」を経験するかを調査すること。
• 継続的学習がLLMの一般的能力、指示理解、安全性に与える影響を評価すること。
• 推論を補強した訓練が、新しいタスクへの学習を加速させつつ忘却を軽減できるかどうかを検討すること。
• 統一されたフォーマットと新規のメトリクスを備えた、標準的で評価可能なベンチマークを提供すること。

提案手法

• 分野特化タスク、多言語理解、コード生成、数学的推論をカバーする8つの多様で標準化されたデータセットを備えたTRACEの設計。
• 分類タスクのためのクラスバランスを考慮した分割を用い、各タスクで5,000件のバランスの取れたインスタンスをサンプリング。
• 一般的能力の変化、指示理解の変化、安全性の変化を定量化するための3つの新規メトリクス（General Ability Delta, Instruction Following Delta, Safety Delta）を導入。
• 安全性および有用性の評価において、GPT-4をジャッジとして用いて、モデル出力の自動的で客観的な評価を実施。
• 訓練中にモデルが推論経路とタスク分析を生成するよう促す、推論を補強する継続的学習（RCL）を提案。
• メタ推論とタスク固有のキーワードを用いてRCLを適用し、段階的学習中に元のモデル能力の保持を向上させる。

実験結果

リサーチクエスチョン

• RQ1 多様で複雑なタスクに段階的に学習させた際、整列済みLLMはどの程度「消去的忘却」を経験するか？
• RQ2 継続的学習はLLMの一般的推論能力、指示理解能力、安全性にどのように影響を与えるか？
• RQ3 推論を補強した訓練は、新しいタスクへの学習を加速させつつ、消去的忘却を軽減できるか？
• RQ4 推論経路は、継続的学習中にモデル能力をどのように維持する役割を果たすか？
• RQ5 パラメータ全量微調整とパラメータ効率的微調整（LoRA）は、忘却度と性能の観点でどのように比較されるか？

主な発見

• Llama2-13BのGSM8K正答率は、TRACEにおける継続的学習後、28.8%から2%に低下し、数学的推論分野における深刻な消去的忘却が確認された。
• 多言語理解能力は継続的学習中に向上し、Llama2-7BのTydiQA F1スコアは23.47から33.23に上昇した。これはこの分野における正のトランスファーを示唆している。
• パラメータ全量微調整はタスク適合性を高めたが、LoRAと比較して一般的能力の忘却が著しく深刻であった。
• 継続的学習後、指示理解能力が著しく低下した。これは整列済みLLMにおける深刻な脆弱性を示している。
• 明示的な推論経路を備えたタスクは、経路のないタスクよりもモデル能力の保持が優れており、推論の統合が忘却を軽減することを示唆している。
• 提案されたRCL手法により、訓練中に推論経路とタスク分析の生成を促すことで、忘却が軽減され、収束が加速した。