[论文解读] Analyzing Assumptions in Conversation Disentanglement Research Through the Lens of a New Dataset and Model.

Jonathan K. Kummerfeld, Sai R. Gouravajhala+7 more|arXiv (Cornell University)|Oct 25, 2018

Misinformation and Its Impacts参考文献 20被引用 13

一句话总结

本文提出了一种新的、规模为此前公开资源25倍的对话解纠缠数据集，覆盖十年间152个时间点，附带线程结构与回复图标注，并提出一种新型神经网络模型，其性能优于先前方法。利用该数据集与模型，作者揭示了先前研究中关键假设的缺陷，表明小规模、基于启发式构建的数据集已导致对多方对话解纠缠理解的偏差。

ABSTRACT

Disentangling conversations mixed together in a single stream of messages is a difficult task with no large annotated datasets. We created a new dataset that is 25 times the size of any previous publicly available resource, has samples of conversation from 152 points in time across a decade, and is annotated with both threads and a within-thread reply-structure graph. We also developed a new neural network model, which extracts conversation threads substantially more accurately than prior work. Using our annotated data and our model we tested assumptions in prior work, revealing major issues in heuristically constructed resources, and identifying how small datasets have biased our understanding of multi-party multi-conversation chat.

研究动机与目标

• 为解决多方聊天中对话解纠缠缺乏大规模、高质量标注数据集的问题。
• 构建一个具有时间多样性的数据集，覆盖十年间152个不同的时间点，以更好地反映现实世界中的对话动态。
• 开发一种神经网络模型，能够从混合消息流中准确提取对话线程与回复结构。
• 利用更全面、更具代表性的数据集，通过实证证据检验并挑战先前解纠缠研究中的长期假设。
• 揭示小规模、基于启发式构建的数据集如何导致对多线程对话解纠缠理解的偏差与不完整。

提出的方法

• 构建了一个比以往任何公开资源都大25倍的对话解纠缠数据集，包含跨越十年的152个时间点。
• 为每条对话同时标注了线程级结构与线程内回复图，以捕捉层级与顺序关系。
• 设计了一种新型神经网络模型，通过消息嵌入与图注意力机制，联合预测线程归属与回复结构。
• 使用多任务学习目标在新数据集上训练模型，同时优化线程识别与回复图重建。
• 将模型应用于评估先前方法在新数据集上的表现，实现直接比较并识别数据集偏差。
• 开展消融研究与定性分析，评估先前研究中假设的稳健性，特别是关于消息排序与回复预测的问题。

实验结果

研究问题

• RQ1 当在更大规模、更具时间多样性的数据集上评估时，先前对话解纠缠方法中的假设是否依然成立？
• RQ2 小规模、基于启发式构建的数据集在多大程度上导致了对解纠缠模型评估与理解的偏差？
• RQ3 在更大规模、标注更完善的训练数据集上训练的新神经网络模型，是否能在线程与回复结构预测上实现显著性能提升？
• RQ4 数据中的时间多样性在多大程度上影响了解纠缠模型的泛化能力与可靠性？
• RQ5 由于数据集限制，先前模型在回复图中遗漏了哪些结构与顺序模式？

主要发现

• 新数据集比任何先前公开资源大25倍，在十年聊天数据中提供了显著更高的时间与对话多样性。
• 所提出的神经网络模型在对话线程与回复结构提取方面，相比先前最先进方法实现了显著更高的准确率。
• 当在新数据集上测试时，先前研究中的假设（特别是关于消息排序与回复预测）被发现系统性地存在缺陷。
• 小规模、基于启发式构建的数据集已导致对对话解纠缠理解的偏差，尤其在多方对话场景中更为明显。
• 模型的性能提升在复杂、多线程对话中最为显著，而先前模型在此类场景中常出现失败。
• 本研究揭示，回复结构预测对数据质量与规模极为敏感，在新数据集上性能显著提升。