[論文レビュー] Examining Forgetting in Continual Pre-training of Aligned Large Language Models

Chen-An Li, Hung-yi Lee|arXiv (Cornell University)|Jan 6, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿は、微調整済みの大規模言語モデルにおける継続的事前学習における深刻な忘却現象を調査し、特にSFTおよびRLHFで微調整されたLlama-2-7b-chatモデルに注目している。中国語の伝統的文書データを用いた継続的事前学習が、出力形式、知識の保持、信頼性に与える影響を評価した結果、事実の知識は保持されているものの、信頼性の著しい低下と繰り返しの増加が生じた。研究では、標準的な微調整手法が、特に生成品質と一貫性の面で忘却を緩和できないことが示された。

ABSTRACT

Recent advances in Large Language Models (LLMs) have exhibited remarkable proficiency across various tasks. Given the potent applications of LLMs in numerous fields, there has been a surge in LLM development. In developing LLMs, a common practice involves continual pre-training on previously fine-tuned models. However, this can lead to catastrophic forgetting. In our work, we investigate the phenomenon of forgetting that occurs during continual pre-training on an existing fine-tuned LLM. We evaluate the impact of continuous pre-training on the fine-tuned LLM across various dimensions, including output format, knowledge, and reliability. Experiment results highlight the non-trivial challenge of addressing catastrophic forgetting during continual pre-training, especially the repetition issue.

研究の動機と目的

• 微調整済みの大規模言語モデルにおける継続的事前学習の過程で生じる深刻な忘却現象を調査すること。
• 継続的事前学習が、出力形式、事実の知識、信頼性の複数の次元に与える影響を評価すること。
• 標準的な微調整およびパラメータ効率の良い適応手法が、微調整済みの大規模言語モデルにおける忘却を効果的に緩和できるかどうかを評価すること。
• 中国語のテキストを生成するモデルにおいて繰り返し問題がどのように顕在化するかを分析すること。
• 継続的事前学習後の知識、真実性、毒性、バイアスに関するモデル性能をベンチマークすること。

提案手法

• 10億トークンの中国語の伝統的文書データを用いたLlama-2-7b-chatの継続的事前学習により、Llama-2-7b-chat-cpモデルが得られた。
• MMLU、ARC、Hellaswag、C-eval-tw、TruthfulQA、ToxiGen、BOLDの複数のベンチマークを用いて、ゼロショットおよびフェイントショットのプロンプトによる評価が実施された。
• アライメント準拠の推論を実現するため、[INST]および[/INST]のトークン化を用いたプロンプト工学が適用された。
• 推論効率を向上させるためにvLLMが使用され、生成には温度0.1、top_p 0.9の核サンプリングが用いられた。
• 毒性およびバイアス評価のため、モデル出力をGoogle Translate APIを用いて英語に翻訳し、英語ベースの分類器を用いて評価された。
• 毒性およびバイアス評価には、RoBERTaベースのToxiGen分類器とVADERセンチメントアナライザーが適用された。

Figure 2: Illustration of the models outputs.

実験結果

リサーチクエスチョン

• RQ1 微調整済みの大規模言語モデルにおける継続的事前学習が、生成の信頼性および形式にどの程度深刻な忘却を引き起こすか。
• RQ2 継続的事前学習が、多言語的およびドメイン特化型のベンチマークにおいて、モデルの事実の知識保持にどのように影響するか。
• RQ3 特に中国語における出力形式が、繰り返しや一貫性の問題をどのように悪化させるか。
• RQ4 標準的な微調整またはパラメータ効率の良い適応手法（LoRA、アダプタ）が、微調整済みの大規模言語モデルにおける忘却を効果的に緩和できるか。
• RQ5 継続的事前学習が、生成出力の真実性、毒性、バイアスにどのように影響するか。

主な発見

• MMLUやARCなどのベンチマークで測定された事実の知識は保持されているものの、Llama-2-7b-chat-cpモデルは信頼性の著しい低下を示した。
• 中国語を生成するモデルにおいて顕著な繰り返し問題が生じており、生成品質におけるフォーマット依存の劣化が示された。
• 継続的事前学習後も知識保持は大きく損なわれず、MMLUおよびC-eval-twでのパフォーマンスに安定が見られた。
• ToxiGenおよびBOLDベンチマークでは、毒性およびバイアスのレベルはほとんど変化せず、もしくはわずかに上昇しており、事前学習後にも顕著な改善は見られなかった。
• 標準的な微調整およびアダプタベースの手法（LoRA、IAdapter）は、繰り返しを完全に抑制したり信頼性を回復させたりできず、より洗練された継続的学習戦略の必要性を示唆した。
• 本研究では、アライメント操作が施されたモデルであっても、継続的事前学習が、特に一貫性と整合性の面で新たな失敗モードを引き起こすことが明らかになった。これは、大規模言語モデル開発における忘却問題が非自明な課題であることを強調している。

Figure 3: Illustration of models’ outputs. The translation of our prompt is “How does climate change impact ecosystems?”