[论文解读] Multiresolution Recurrent Neural Networks: An Application to Dialogue Response Generation

Iulian Vlad Serban, Tim Klinger+5 more|arXiv (Cornell University)|Jun 2, 2016

Topic Modeling被引用 73

一句话总结

本文提出多分辨率循环神经网络（MrRNNs），一种新颖的序列到序列框架，通过两种并行的随机过程建模对话响应生成：高层粗粒度标记与自然语言标记。通过联合最大化两个序列的对数似然，该模型捕捉了长期话语结构与高层抽象表示，在Ubuntu技术支持与Twitter对话数据集上实现了最先进性能，自动评估与人工评价均显示相关性与连贯性显著提升。

ABSTRACT

We introduce the multiresolution recurrent neural network, which extends the sequence-to-sequence framework to model natural language generation as two parallel discrete stochastic processes: a sequence of high-level coarse tokens, and a sequence of natural language tokens. There are many ways to estimate or learn the high-level coarse tokens, but we argue that a simple extraction procedure is sufficient to capture a wealth of high-level discourse semantics. Such procedure allows training the multiresolution recurrent neural network by maximizing the exact joint log-likelihood over both sequences. In contrast to the standard log- likelihood objective w.r.t. natural language tokens (word perplexity), optimizing the joint log-likelihood biases the model towards modeling high-level abstractions. We apply the proposed model to the task of dialogue response generation in two challenging domains: the Ubuntu technical support domain, and Twitter conversations. On Ubuntu, the model outperforms competing approaches by a substantial margin, achieving state-of-the-art results according to both automatic evaluation metrics and a human evaluation study. On Twitter, the model appears to generate more relevant and on-topic responses according to automatic evaluation metrics. Finally, our experiments demonstrate that the proposed model is more adept at overcoming the sparsity of natural language and is better able to capture long-term structure.

研究动机与目标

• 解决端到端神经模型在对话生成中无法捕捉高层话语抽象表示的问题。
• 改进开放域与目标导向对话系统中长期依赖关系的建模，并减少响应稀疏性问题。
• 通过引入分层、多分辨率的生成过程与粗粒度与细粒度序列的联合学习，扩展标准序列到序列框架。
• 证明在高层与自然语言序列上进行联合优化，相比标准词级别对数似然训练，可生成更高质量的响应。
• 在两个具有挑战性的领域（技术支援，Ubuntu；社交媒体，Twitter）验证模型的有效性。

提出的方法

• MrRNN架构建模两条并行序列：高层粗粒度标记序列与自然语言标记序列，对两者联合概率进行因子分解。
• 高层标记通过简单、非学习的处理方式提取（例如意图或主题抽取），避免训练过程中的复杂推理。
• 通过最大化两个序列的精确联合对数似然进行模型训练，该目标函数促使学习过程更关注高层话语语义。
• 推理阶段，模型首先生成粗粒度标记序列，然后基于上下文与粗粒度标记自回归地生成自然语言响应。
• 架构采用标准RNN（LSTM或GRU），共享词嵌入与输出投影，粗粒度序列作为高层控制信号。
• 联合训练目标明确鼓励粗粒度语义内容与表面响应生成之间的对齐，从而提升连贯性与主题一致性。

实验结果

研究问题

• RQ1 将对话响应生成建模为高层抽象与自然语言标记的联合过程，是否能提升响应质量与连贯性？
• RQ2 对粗粒度与自然语言序列的联合对数似然进行优化，是否能比标准词级别困惑度优化更好地建模长期依赖关系？
• RQ3 即使采用简单、非学习的粗粒度标记提取方法，是否仍能在对话生成中带来显著性能提升？
• RQ4 MrRNN模型在自动评估与人工评价指标上，与HRED、VHRED及标准RNN等强基线模型相比表现如何？
• RQ5 该模型在低资源或长上下文对话设置下，对缓解自然语言生成中的稀疏性问题有多大程度的改善作用？

主要发现

• 在Ubuntu技术支持数据集上，MrRNN模型达到最先进性能，优于所有对比方法的自动指标与人工评价结果。
• 在Twitter对话数据集上，该模型显著提升了响应的相关性与主题一致性，自动评估指标显示明显改善。
• 在Ubuntu数据集的人工评价中，MrRNN生成的响应被评定为比HRED、VHRED与标准LSTM模型更具相关性与上下文相关性。
• 联合对数似然目标成功引导模型学习高层话语结构，减少了生成不连贯或离题响应的情况。
• 该模型在捕捉长期依赖关系与缓解响应稀疏性方面表现出色，尤其在复杂多轮对话中优势明显。
• 消融实验确认粗粒度标记序列对性能至关重要，移除后自动与人工评价指标均出现显著下降。