[论文解读] DialogStudio: Towards Richest and Most Diverse Unified Dataset Collection for Conversational AI

Jianguo Zhang, Kun Qian+8 more|arXiv (Cornell University)|Jul 19, 2023

Topic ModelingComputer Science被引用 3

一句话总结

DialogStudio 引入了迄今为止最大且最多样化的统一对话数据集集合，涵盖 80 多个对话数据集，覆盖开放域、任务导向、知识增强和摘要生成等任务，统一标准化为一致格式，包含许可证信息、领域感知提示和外部知识。使用 DialogStudio 训练的模型在零样本和少样本设置下均达到最先进性能，证明其在对话人工智能研究与训练中的优越性。

ABSTRACT

Despite advancements in conversational AI, language models encounter challenges to handle diverse conversational tasks, and existing dialogue dataset collections often lack diversity and comprehensiveness. To tackle these issues, we introduce DialogStudio: the largest and most diverse collection of dialogue datasets, unified under a consistent format while preserving their original information. Our collection encompasses data from open-domain dialogues, task-oriented dialogues, natural language understanding, conversational recommendation, dialogue summarization, and knowledge-grounded dialogues, making it an incredibly rich and diverse resource for dialogue research and model training. To further enhance the utility of DialogStudio, we identify the licenses for each dataset, design external knowledge and domain-aware prompts for selected dialogues to facilitate instruction-aware fine-tuning. Furthermore, we develop conversational AI models using the dataset collection, and our experiments in both zero-shot and few-shot learning scenarios demonstrate the superiority of DialogStudio. To improve transparency and support dataset and task-based research, as well as language model pre-training, all datasets, licenses, codes, and models associated with DialogStudio are made publicly accessible\footnote{\url{https://github.com/salesforce/DialogStudio}}.

研究动机与目标

• 为解决当前缺乏全面、多样化且标准化的对话数据集所导致的对话人工智能模型泛化能力受限问题。
• 将来自多个领域和任务的分散对话数据集统一整合为单一、一致且可访问的格式，同时保留原始信息。
• 通过识别许可证、设计领域感知提示以及整合外部知识，提升数据集的可用性，以支持指令微调。
• 通过支持任务特定分析和基于数据集的分析，实现对多样化对话场景的全面研究与预训练。
• 通过利用 DialogStudio 中丰富且统一的数据分布，提升模型在零样本和少样本学习中的性能。

提出的方法

• 从六个类别（开放域、任务导向、NLU、对话推荐、对话摘要和知识增强对话）的多样化来源汇聚超过 80 个对话数据集。
• 将所有数据集标准化为统一的 JSON 格式，包含统一元数据，同时保留原始结构和内容。
• 识别并记录每个数据集的许可证，以确保研究中的法律合规性和透明度。
• 为选定数据集设计领域感知提示和指令微调提示，以促进指令遵循型模型的微调。
• 为知识增强对话创建外部知识注入，以提升模型推理和生成响应的能力。
• 使用 DialogStudio 数据集集合训练指令感知型对话模型（参数量从 770M 到 3B 不等），用于零样本和少样本评估。

实验结果

研究问题

• RQ1 统一、多样化且标准化的对话数据集集合是否能提升对话人工智能模型在零样本和少样本设置下的性能？
• RQ2 在一个统一集合中整合多个对话任务和领域，在多大程度上能增强模型的泛化能力和鲁棒性？
• RQ3 将领域感知提示和外部知识整合，对提升模型指令遵循能力与响应质量有多大的有效性？
• RQ4 统一的数据集集合是否能有效支持任务特定研究和大规模语言模型的预训练？
• RQ5 与 Flan、OPT 或 ParlAI 等现有集合相比，DialogStudio 在覆盖范围、多样性与可用性方面表现如何？

主要发现

• DialogStudio 包含来自六个不同类别的 80 多个对话数据集，是迄今为止最全面且最多样化统一数据集集合。
• 该数据集集合公开可用，并提供完整的许可证信息，确保研究的透明性与可复现性。
• 使用领域感知提示和外部知识显著提升了模型在指令遵循和知识增强任务中的性能。
• 在 DialogStudio 上微调的指令适应型模型在零样本和少样本学习场景下均优于强基线模型。
• 统一的 HuggingFace 兼容接口支持简单的 `load_dataset()` 命令，实现与研究和开发工作流的无缝集成，具备广泛的可用性。
• 该集合支持单个数据集分析与大规模预训练，能够实现公平比较与可扩展的模型开发。