[论文解读] Modeling Multi-turn Conversation with Deep Utterance Aggregation

Zhuosheng Zhang, Jiangtong Li+3 more|arXiv (Cornell University)|Jun 24, 2018

Topic Modeling参考文献 41被引用 92

一句话总结

本论文提出一种用于基于检索的多轮对话的 Deep Utterance Aggregation (DUA) 模型，利用 turns-aware aggregation 和 self-matching attention 形成细粒度的上下文表示，在 Ubuntu、Douban 以及一个新的电商对话语料库（ECD）上实现了最先进的结果。

ABSTRACT

Multi-turn conversation understanding is a major challenge for building intelligent dialogue systems. This work focuses on retrieval-based response matching for multi-turn conversation whose related work simply concatenates the conversation utterances, ignoring the interactions among previous utterances for context modeling. In this paper, we formulate previous utterances into context using a proposed deep utterance aggregation model to form a fine-grained context representation. In detail, a self-matching attention is first introduced to route the vital information in each utterance. Then the model matches a response with each refined utterance and the final matching score is obtained after attentive turns aggregation. Experimental results show our model outperforms the state-of-the-art methods on three multi-turn conversation benchmarks, including a newly introduced e-commerce dialogue corpus.

研究动机与目标

• 通过超越对先前话语的简单拼接，推动多轮检索式对话中上下文建模的改进。
• 开发一种 turns-aware 聚合机制，将最后一句话与前面的上下文融合。
• 通过 self-matching attention 在每个话语中突出关键信息。
• 在词级和话语级别将回复与经处理的 utterances 匹配，并聚合结果以得到最终分数。
• 在包括新发布的电商对话语料库在内的多个基准数据集上评估该方法，并与强基线进行比较。

提出的方法

• 用词级 GRU 编码器表示每个话语和回复。
• 应用 turns-aware 聚合，将每个先前话语与最后一个话语融合（选择拼接作为聚合方法）。
• 使用 self-matching attention 过滤融合后话语序列中的冗余信息。
• 在每个话语和回复之间构建词级和话语级匹配矩阵，并用 CNN 编码以获得匹配向量。
• 按时间顺序用门控循环单元(GRU)处理匹配向量序列，并通过对 GRU 输出的注意力机制产生最终分数。
• 用交叉熵损失训练模型。

实验结果

研究问题

• RQ1 turns-aware 聚合是否能在多轮检索式对话中超越简单拼接来改善上下文表示？
• RQ2 self-matching attention 是否能有效提炼话语中的关键信息以改善回复匹配？
• RQ3 在包括英文的 Ubuntu 数据集、中文的 Douban 数据集以及新发布的电商语料库在内的多轮对话基准上，与最先进的基线相比，所提出的 Deep Utterance Aggregation (DUA) 的表现如何？
• RQ4 消融分析揭示上下文融合和匹配注意力流的重要性，可以得出哪些见解？

主要发现

• DUA 在三个多轮对话基准（Ubuntu、Douban、ECD）上超越了现有模型。
• 该模型在 ECD 数据集上相比先前的最先进方法取得显著提升，包括在 R10@1 上比 SMN 提高 4.8%。
• 消融研究表明 Context Fusion（turns-aware aggregation）和 Matching Attention Flow 都很重要，移除 Matching Attention Flow 时下降最大。
• 定性分析表明 self-matching attention 能有效识别并集中关注话语和回复的关键部分，以引导匹配。
• 作者向研究界公开发布了第一个电商对话语料库（ECD），便于在面向服务的对话中进行更广泛的评估。