[论文解读] Enhancing Chat Language Models by Scaling High-quality Instructional Conversations

Ning Ding, Yulin Chen+7 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用 6

一句话总结

本文介绍了UltraChat，一个包含150万条多轮指令对话的大型、多样化、高质量数据集，这些对话通过迭代式、基于GPT-4的模拟生成，无需人工查询。在UltraChat上微调LLaMA-13B模型得到UltraLLaMA，其在多个基准测试中表现优于所有先前的开源模型，GPT-4评估的平均得分为9.023 ± 0.952。

ABSTRACT

Fine-tuning on instruction data has been widely validated as an effective practice for implementing chat language models like ChatGPT. Scaling the diversity and quality of such data, although straightforward, stands a great chance of leading to improved performance. This paper aims to improve the upper bound of open-source models further. We first provide a systematically designed, diverse, informative, large-scale dataset of instructional conversations, UltraChat, which does not involve human queries. Our objective is to capture the breadth of interactions that a human might have with an AI assistant and employs a comprehensive framework to generate multi-turn conversation iteratively. UltraChat contains 1.5 million high-quality multi-turn dialogues and covers a wide range of topics and instructions. Our statistical analysis of UltraChat reveals its superiority in various key metrics, including scale, average length, diversity, coherence, etc., solidifying its position as a leading open-source dataset. Building upon UltraChat, we fine-tune a LLaMA model to create a powerful conversational model, UltraLLaMA. Our evaluations indicate that UltraLLaMA consistently outperforms other open-source models, including Vicuna, the previously recognized state-of-the-art open-source model. The dataset and the model will be publicly released\footnote{\url{https://github.com/thunlp/UltraChat}}.

研究动机与目标

• 通过扩展高质量、多样化的指令数据来突破开源对话语言模型的性能瓶颈。
• 开发一种系统化、自动化的框架，用于生成无需人工标注查询的逼真多轮指令对话。
• 创建一个领先的开源数据集和模型，其在指令遵循和对话质量方面超越当前最先进水平。
• 探究数据质量与多样性对模型性能的影响，超越现有指令微调方法的范畴。

提出的方法

• 设计了三大部分框架——世界知识、内容创作/生成、材料辅助支持，以确保覆盖广泛的人机交互类型。
• 采用两个GPT-4 Turbo API，在迭代式、角色互换的设置中运行：一个作为模拟用户生成查询，另一个作为助手生成回复。
• 通过上下文提示、元信息注入和迭代优化，提升对话的规模、质量与多样性。
• 生成了150万条高质量、多轮对话，具备良好的连贯性、长度和主题多样性。
• 在UltraChat上微调LLaMA-13B模型以训练UltraLLaMA，重点优化指令遵循能力与对话流畅性。
• 采用基于GPT-4的自动评分和偏好比较方法对模型进行评估，确保性能评估可靠且与人类偏好对齐。

实验结果

研究问题

• RQ1 大规模扩展高质量、多样化的指令对话数据，是否能显著提升开源大语言模型的性能，超越当前最先进水平？
• RQ2 合成指令数据的质量与结构，与人工标注数据相比，在训练高效对话模型方面表现如何？
• RQ3 迭代式、基于GPT的生成方法在多大程度上能产生连贯、多样且逼真的多轮对话，适用于微调？
• RQ4 系统提示工程如何影响指令微调模型中响应的信息量与质量？
• RQ5 在合成的、未经标注的数据集上微调的模型，是否能超越在精选人工标注指令数据上训练的模型？

主要发现

• UltraLLaMA获得GPT-4评估的平均分为9.023 ± 0.952，优于Vicuna（8.961 ± 0.718）及其他所有开源模型。
• UltraLLaMA在TruthfulQA基准测试中表现与Vicuna相当或更优，多选任务准确率达到54%。
• 该模型在复杂推理与事实一致性方面表现更优，尤其在具有挑战性的常识与世界知识问题上。
• 系统提示显著提升了响应的信息量，而未影响事实准确性，对比显示有无提示的输出存在明显差异。
• UltraChat在规模、平均对话长度、多样性与连贯性方面优于现有数据集，确立了其作为领先开源资源的地位。
• 尽管性能出色，UltraLLaMA仍存在大语言模型常见的幻觉与伦理风险，且训练过程计算成本较高。