[论文解读] A Repository of Conversational Datasets

Matthew Henderson, Paweł Budzianowski+9 more|arXiv (Cornell University)|Apr 13, 2019

Topic Modeling参考文献 51被引用 9

一句话总结

本文介绍了一个大规模对话数据集的公开仓库——Reddit、OpenSubtitles 和 AmazonQA，包含数亿个上下文-回复对，以及一个标准化的 1/100 准确率评估协议。该工作提出了强大的神经网络和向量基基线模型，包括一个 polyai-encoder 模型，在 Reddit 数据集上达到 61.3% 的准确率，显著优于所有基线模型，实现了跨研究团队的一致、可复现的模型比较。

ABSTRACT

Progress in Machine Learning is often driven by the availability of large datasets, and consistent evaluation metrics for comparing modeling approaches. To this end, we present a repository of conversational datasets consisting of hundreds of millions of examples, and a standardised evaluation procedure for conversational response selection models using '1-of-100 accuracy'. The repository contains scripts that allow researchers to reproduce the standard datasets, or to adapt the pre-processing and data filtering steps to their needs. We introduce and evaluate several competitive baselines for conversational response selection, whose implementations are shared in the repository, as well as a neural encoder model that is trained on the entire training set.

研究动机与目标

• 为训练和评估对话系统解决大规模、多样化且公开可用的对话数据集稀缺且不一致的问题。
• 通过使用 1/100 准确率建立标准化评估框架，实现不同研究团队之间响应选择模型的直接、可复现比较。
• 提供预处理过的、可重用的数据集和强大的基线模型，以加速端到端及模块化对话系统的研究。
• 通过在多样化、自然对话数据上进行大规模预训练，支持通用领域对话模型的开发。

提出的方法

• 数据集以 TensorFlow Record 文件格式存储，包含序列化示例，包含上下文、回复和元数据，使用线程 ID 对数据进行确定性划分，训练集占 90%，测试集占 10%。
• 预处理包括过滤有效上下文-回复对、去除重复项，并应用归一化处理，以确保数据质量和跨数据集的一致性。
• 实现了六种基线模型：tf-idf、BM25，以及四种使用通用句子编码器（USE）和 ELMo 嵌入向量的变体，分别采用相似度（sim）或学习映射（map）操作。
• 训练一个端到端的神经编码器模型（polyai-encoder），使用独立的子网络分别处理上下文和回复，应用一元和二元特征提取、嵌入表示、自注意力机制以及 L2 归一化的残差连接。
• 模型采用点积评分机制，结合标签平滑和可学习缩放因子，使用多张 GPU 在完整训练集上联合训练。
• 评估采用测试集随机子集（5 万个样本）的 1/100 准确率，结果保留在公开仓库中，以支持持续的基准测试。

实验结果

研究问题

• RQ1 标准化的 1/100 准确率评估协议是否能够实现在多样化对话数据集上对响应选择模型的公平且可复现的比较？
• RQ2 在大规模开放域对话数据上，不同嵌入方法（如 USE、ELMo、BERT）与学习映射函数在性能上如何比较？
• RQ3 在数百亿个样本上进行训练的神经编码器模型，在响应选择任务中，能在多大程度上超越简单的基于检索的基线模型？
• RQ4 关键词方法（如 tf-idf 和 BM25）在多样化对话数据集上相对于深度学习基线模型的表现如何？

主要发现

• polyai-encoder 模型在 Reddit 数据集上达到 61.3% 的 1/100 准确率，显著优于所有其他基线模型，包括 BERT 和 ELMo 基模型。
• 使用学习映射（map）操作在所有嵌入模型上均一致优于简单相似度（sim）操作，表明学习转换在上下文-回复对齐中的价值。
• 通用句子编码器（USE）模型在所有数据集上均优于 ELMo，其中 USE-map 模型在 Reddit 上达到 47.7%，在 OpenSubtitles 上达到 18.0%。
• 关键词方法（tf-idf、BM25）在 AmazonQA 上表现具有竞争力（分别为 51.8% 和 52.3%），表明在该领域中罕见的、特定领域的术语具有信息量。
• BERT-small-map 模型在 AmazonQA 上达到 45.8%，优于 BERT-large-map 在 OpenSubtitles 上的 24.0%，表明性能存在显著的领域特异性差异。
• 该仓库支持一致的基准测试，结果被持续维护并可扩展，以支持研究社区未来的研究贡献。