[论文解读] Coherence Modeling of Asynchronous Conversations: A Neural Entity Grid Approach

Tasnim Mohiuddin, Shafiq Joty+1 more|arXiv (Cornell University)|May 6, 2018

Topic Modeling参考文献 19被引用 7

一句话总结

本文提出了一种神经实体网格模型，通过词汇化实体转移并整合对话树结构来建模异步对话中的连贯性。通过将神经网格扩展为词嵌入和三维时空网格，该模型在连贯性评估任务上达到最先进性能，并在论坛中实现有效的线程重建，线程级别准确率和边级别准确率分别比基线模型高出2.7%和2.5%。

ABSTRACT

We propose a novel coherence model for written asynchronous conversations (e.g., forums, emails), and show its applications in coherence assessment and thread reconstruction tasks. We conduct our research in two steps. First, we propose improvements to the recently proposed neural entity grid model by lexicalizing its entity transitions. Then, we extend the model to asynchronous conversations by incorporating the underlying conversational structure in the entity grid representation and feature computation. Our model achieves state of the art results on standard coherence assessment tasks in monologue and conversations outperforming existing models. We also demonstrate its effectiveness in reconstructing thread structures.

研究动机与目标

• 解决论坛和电子邮件等异步对话中缺乏连贯性建模的问题。
• 通过使用词嵌入对神经实体网格模型中的实体转移进行词汇化，以增强泛化能力。
• 通过将神经网格模型改造成三维网格表示以捕捉树状结构的对话结构。
• 在异步语篇的连贯性评估和线程重建任务上评估该模型。
• 证明连贯性模型能够预测在线对话中潜在的线程结构。

提出的方法

• 使用预训练的词嵌入对神经网格模型中的实体转移进行词汇化，以改善对实体类型和关系的表示。
• 构建一个三维网格表示，以编码对话树中随时间推移和回复层级的实体转移。
• 对三维网格应用二维卷积层，以提取实体转移的空间和时间特征。
• 对卷积后的特征进行最大池化操作，生成用于连贯性评分的固定长度表示。
• 使用成对排序损失进行模型训练，以区分正确句子顺序与排列或反转的顺序。
• 通过评分所有有效的候选树结构并选择得分最高的结构，将模型适配用于线程重建。

实验结果

研究问题

• RQ1 词汇化实体转移是否能提升单人独白和对话语篇中的连贯性建模？
• RQ2 如何将神经实体网格模型适配以表示异步对话中非顺序性、树状结构的特性？
• RQ3 连贯性模型在多大程度上能预测在线论坛中的正确线程结构？
• RQ4 整合对话结构是否能提升连贯性评估和线程重建任务的性能？
• RQ5 在缺乏显式特征工程的低资源设置下，该模型是否依然有效？

主要发现

• 词汇化神经实体网格模型在单人独白和对话的标准化连贯性评估任务中达到最先进性能，优于先前模型。
• 在包含每条线程最多5条评论的CNET论坛数据集上，该模型在线程级别和边级别准确率上分别比最佳基线模型（COS-sim）高出2.7%和2.5%。
• 性能最佳的线程重建模型使用卷积滤波器宽度为2，表明局部、从左到右的实体转移对识别回复结构至关重要。
• 该模型在所有线程级别和边级别指标上显著优于基线模型（如All-previous、All-first和COS-sim），p < .01（最佳模型）。
• 三维网格表示能有效捕捉对话树中的时空实体转移，从而实现对线程假设的整体评估。
• 由于采用端到端学习与词嵌入，该模型在资源匮乏领域表现出良好的可迁移性，避免了显式特征工程。