[论文解读] Examining Forgetting in Continual Pre-training of Aligned Large Language Models

Chen-An Li, Hung-yi Lee|arXiv (Cornell University)|Jan 6, 2024

Topic Modeling被引用 4

一句话总结

本文研究了在对对齐的大规模语言模型进行持续预训练过程中出现的灾难性遗忘现象，特别聚焦于经过监督微调（SFT）和强化学习人类反馈（RLHF）微调的 Llama-2-7b-chat 模型。通过使用繁体中文数据评估持续预训练对输出格式、知识保留和可靠性的影响，发现尽管事实知识得以保留，但模型的可靠性显著下降，且重复生成问题加剧。研究结果表明，标准微调技术无法有效缓解遗忘，尤其是在生成质量与一致性方面。

ABSTRACT

Recent advances in Large Language Models (LLMs) have exhibited remarkable proficiency across various tasks. Given the potent applications of LLMs in numerous fields, there has been a surge in LLM development. In developing LLMs, a common practice involves continual pre-training on previously fine-tuned models. However, this can lead to catastrophic forgetting. In our work, we investigate the phenomenon of forgetting that occurs during continual pre-training on an existing fine-tuned LLM. We evaluate the impact of continuous pre-training on the fine-tuned LLM across various dimensions, including output format, knowledge, and reliability. Experiment results highlight the non-trivial challenge of addressing catastrophic forgetting during continual pre-training, especially the repetition issue.

研究动机与目标

• 探究在已微调的大规模语言模型上进行持续预训练时，灾难性遗忘现象的产生机制。
• 从多个维度评估持续预训练对输出格式、事实知识和可靠性的影响。
• 评估标准微调与参数高效微调方法（如 LoRA 和适配器）是否能有效缓解对齐大模型中的遗忘问题。
• 分析生成繁体中文文本时重复问题的出现机制。
• 在持续预训练后，对模型在知识、真实性、毒性与偏见方面的表现进行基准测试。

提出的方法

• 在 10 亿 tokens 的繁体中文数据上对 Llama-2-7b-chat 进行持续预训练，生成 Llama-2-7b-chat-cp 模型。
• 通过零样本与 few-shot 提示在多个基准测试中进行评估：MMLU、ARC、Hellaswag、C-eval-tw、TruthfulQA、ToxiGen 与 BOLD。
• 采用 [INST] 与 [/INST] 的提示工程与标记化方式，以确保对齐推理的一致性。
• 使用 vLLM 提升推理效率，并采用温度 0.1 与 top_p 0.9 的核采样策略进行文本生成。
• 利用 Google Translate API 将模型输出翻译为英文，以使用基于英文的分类器评估毒性与偏见。
• 应用基于 RoBERTa 的 ToxiGen 分类器与 VADER 情感分析器，评估生成文本中的毒性与偏见。

Figure 2: Illustration of the models outputs.

实验结果

研究问题

• RQ1 在已微调的大规模语言模型上进行持续预训练，在生成可靠性与格式方面，会导致多大程度的灾难性遗忘？
• RQ2 持续预训练如何影响模型在多语言与领域特定基准中的事实知识保留能力？
• RQ3 输出格式，特别是繁体中文格式，在多大程度上加剧了重复与连贯性问题？
• RQ4 标准微调或参数高效微调方法（如 LoRA 与适配器）是否能有效缓解对齐大模型中的遗忘问题？
• RQ5 持续预训练如何影响模型生成输出的真实性、毒性与偏见？

主要发现

• 尽管在 MMLU 与 ARC 等基准测试中表现稳定，Llama-2-7b-chat-cp 模型的可靠性显著下降，表明其生成可靠性严重受损。
• 在生成繁体中文时，模型出现明显的重复问题，表明其在特定格式下生成质量出现显著退化。
• 持续预训练后，知识保留能力基本不受影响，MMLU 与 C-eval-tw 基准测试中性能保持稳定。
• 毒性与偏见水平基本保持不变或略有上升，ToxiGen 与 BOLD 基准测试未显示预训练后有显著改善。
• 标准微调与基于适配器的方法（LoRA、IAdapter）无法完全抑制重复问题或恢复可靠性，表明需要更先进的持续学习策略。
• 本研究揭示，即使在完成对齐操作后，持续预训练仍会引入新的失效模式，尤其在连贯性与一致性方面，凸显了大模型开发中遗忘问题的非平凡挑战。

Figure 3: Illustration of models’ outputs. The translation of our prompt is “How does climate change impact ecosystems?”