[论文解读] Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies

Liangming Pan, Michael Saxon+4 more|arXiv (Cornell University)|Aug 6, 2023

Topic Modeling被引用 24

一句话总结

本综述整理了针对大型语言模型（LLMs）的自动化自我纠错方法，将训练时、生成时和事后纠错方法以及自动化反馈来源进行组织。

ABSTRACT

Large language models (LLMs) have demonstrated remarkable performance across a wide array of NLP tasks. However, their efficacy is undermined by undesired and inconsistent behaviors, including hallucination, unfaithful reasoning, and toxic content. A promising approach to rectify these flaws is self-correction, where the LLM itself is prompted or guided to fix problems in its own output. Techniques leveraging automated feedback -- either produced by the LLM itself or some external system -- are of particular interest as they are a promising way to make LLM-based solutions more practical and deployable with minimal human feedback. This paper presents a comprehensive review of this emerging class of techniques. We analyze and taxonomize a wide array of recent work utilizing these strategies, including training-time, generation-time, and post-hoc correction. We also summarize the major applications of this strategy and conclude by discussing future directions and challenges.

研究动机与目标

• 动机并阐明需要解决的LLM不良行为，如幻觉、不可靠的推理和有害性。
• 提供一个涵盖训练时、生成时和事后纠错的自动化反馈自我纠错的全面分类法。
• 考察反馈的来源和格式，以及如何使用反馈来改进或纠正模型。
• 总结主要应用并勾勒自纠LLMs的未来方向与挑战。

提出的方法

• 提出一个包含三个参与者的概念框架：语言模型、批评模型和改进模型。
• 按纠正内容、反馈来源/格式、纠正时机和改进策略对工作进行分类。
• 将现有文献分为训练时、生成时和事后纠错。
• 调研自动化反馈的来源，包括自反馈以及来自模型、工具或知识来源的外部反馈。
• 描述具有代表性的方法及其学习范式，包括微调、RLHF、自我训练和重新排序。
• 提供表格以总结具有代表性的工作及其关键特征。

实验结果

研究问题

• RQ1 自动自我纠错针对的LLM输出错误类型有哪些？
• RQ2 用于LLM纠错的自动化反馈的来源和格式是什么？
• RQ3 以及它们在何时最为合适？
• RQ4 使用自动化反馈来改进LLMs的常见策略和学习范式是什么？

主要发现

• 自动化反馈可以来自自生成信号或来自外部工具和知识来源的信号来指导纠错。
• 纠错方法按训练时、生成时和事后策略进行分类，依赖微调、重新排序或迭代改进的程度不同。
• 有害性、幻觉和不可靠推理是跨问答、推理和代码生成等任务的主要目标之一。
• 多种反馈格式包括标量信号和自然语言描述，在表达能力与收集难易度之间存在权衡。
• 该综述强调了广泛的应用，并指出在可扩展的自动化LLM自我纠错方面的未来方向与挑战。