[论文解读] Gaining Wisdom from Setbacks: Aligning Large Language Models via Mistake Analysis

Kai Chen, Chunwei Wang+12 more|arXiv (Cornell University)|Oct 16, 2023

Topic Modeling被引用 4

一句话总结

本文提出了一种新颖的对齐框架，通过利用自我批判与错误分析来提升大语言模型（LLM）的安全性，而无需依赖人工标注或外部模型。通过让LLM暴露于其自身的有害响应，并指导其分析错误原因，该方法将错误转化为高质量的训练数据，在减少有害输出方面显著优于标准SFT和RLHF方法，同时保持了模型的实用性。

ABSTRACT

The rapid development of large language models (LLMs) has not only provided numerous opportunities but also presented significant challenges. This becomes particularly evident when LLMs inadvertently generate harmful or toxic content, either unintentionally or because of intentional inducement. Existing alignment methods usually direct LLMs toward the favorable outcomes by utilizing human-annotated, flawless instruction-response pairs. Conversely, this study proposes a novel alignment technique based on mistake analysis, which deliberately exposes LLMs to erroneous content to learn the reasons for mistakes and how to avoid them. In this case, mistakes are repurposed into valuable data for alignment, effectively helping to avoid the production of erroneous responses. Without external models or human annotations, our method leverages a model's intrinsic ability to discern undesirable mistakes and improves the safety of its generated responses. Experimental results reveal that our method outperforms existing alignment approaches in enhancing model safety while maintaining the overall utility.

研究动机与目标

• 为解决在噪声网络数据上训练的大语言模型中出现有害与有毒输出的关键挑战。
• 探究LLM是否能在不被有毒模式污染的情况下，从自身错误中学习。
• 开发一种自监督对齐框架，通过内在错误分析将错误响应重新用作训练数据。
• 利用少量代表性错误数据，提升模型对对抗性指令攻击的防御能力，增强安全性与鲁棒性。
• 证明错误分析可作为‘细粒度掩码’，在保留模型实用性的同时防止有害生成。

提出的方法

• 该方法通过使用包含‘有害、不道德、冒犯性’等关键词的引导式指令提示，诱导未对齐的LLM（如Alpaca）生成有害响应。
• 随后指导模型分析自身响应，识别其问题所在——利用模型内在的判别能力来评估错误。
• 将由此产生的错误分析数据与标准的有益且无害的指令-响应对结合，通过监督微调（SFT）对模型进行微调。
• 使用引导式分析提示（如‘分析为何该回答可能具有危害性’）以提升错误评估的质量与深度。
• 该方法避免依赖人工标注数据或奖励模型，完全依赖模型的自我批判能力。
• 该方法既应用于预存在的有害响应，也应用于模型生成的缺陷输出，通过消融实验评估错误数据的来源、质量与数量。

Figure 1: Pipeline of alignment with mistake analysis. Different from existing works ( e.g. , SFT and RLHF) that focus on aligning LLMs with “error-free responses”, the proposed method deliberately exposes LLMs to harmful contexts to learn the reasons for mistakes.

实验结果

研究问题

• RQ1 大语言模型是否能在无外部监督的情况下，有效识别并分析自身有害响应？
• RQ2 与标准SFT或RLHF相比，使用自生成错误分析是否能提升对齐性能？
• RQ3 错误分析数据的质量与数量如何影响模型的安全性与实用性？
• RQ4 一组有限的代表性错误分析是否能有效防御对齐模型免受新型对抗性指令攻击？
• RQ5 与无引导分析相比，带有明确提示的引导式错误分析是否能带来更优的对齐结果？

主要发现

• 所提方法在帮助性与无害性基准测试中，有害响应率降低至72.4%，显著优于基线Alpaca模型。
• 使用模型自身输出生成的错误分析数据（Alpaca生成的错误）使无害性得分提升至7.41，高于使用原始数据集错误的7.04。
• 引导式错误分析（带明确提示）实现72.4%的无害性率，而无引导分析仅为63.3%，表明结构化批判的重要性。
• 通过结合原始错误与模型诱导错误，将错误分析数据量翻倍后，性能下降至71.2%的无害性率，表明冲突分析会损害对齐效果。
• 该方法仅使用少量代表性错误分析，即成功防御了微调后模型免受新型指令攻击，展现出强大的泛化能力。
• 该方法在减少有害生成方面，性能优于SFT与RLHF基线，同时保持了高响应质量与实用性。

Figure 4: Prompt templates for the proposed method based on mistake analysis.