[论文解读] Improving Retrieval Modeling Using Cross Convolution Networks And Multi Frequency Word Embedding

Guozhen An, Mehrnoosh Shafiee+1 more|arXiv (Cornell University)|Feb 15, 2018

Topic Modeling参考文献 28被引用 6

一句话总结

本文提出交叉卷积网络（CCN）和多频次词嵌入（MFCW），以提升多轮对话系统中的响应选择性能。通过分别嵌入高频词与低频词，并捕捉上下文与响应之间的词级别相似性，该模型在Ubuntu对话语料库上表现优于先前方法，使用集成模型达到新的最先进水平，其召回率@1为72.7%，召回率@2为85.8%，召回率@5为97.1%。

ABSTRACT

To build a satisfying chatbot that has the ability of managing a goal-oriented multi-turn dialogue, accurate modeling of human conversation is crucial. In this paper we concentrate on the task of response selection for multi-turn human-computer conversation with a given context. Previous approaches show weakness in capturing information of rare keywords that appear in either or both context and correct response, and struggle with long input sequences. We propose Cross Convolution Network (CCN) and Multi Frequency word embedding to address both problems. We train several models using the Ubuntu Dialogue dataset which is the largest freely available multi-turn based dialogue corpus. We further build an ensemble model by averaging predictions of multiple models. We achieve a new state-of-the-art on this dataset with considerable improvements compared to previous best results.

研究动机与目标

• 解决基于RNN的模型在多轮对话响应选择中难以捕捉罕见关键词及处理长输入序列的局限性。
• 提升对话上下文与候选响应之间语义和上下文相关性的建模能力。
• 提升在Ubuntu对话语料库上的性能，该语料库是一个大规模、非结构化的多轮对话数据集。
• 开发一种有效整合序列级与词级信息的方法，用于响应排序。
• 通过集成建模方法，为基于检索的对话系统建立新的最先进基准。

提出的方法

• 提出一种交叉卷积网络（CCN），用于计算上下文与响应的词级别表征之间的相似性，捕捉细粒度的语义匹配。
• 引入多频次词嵌入（MFCW），通过为高频词与低频词分别使用独立的嵌入层，以保留低频但高信息量词汇的语义信息。
• 将CCN与LSTM结合，以同时建模上下文与响应中的局部词级别相似性与全局序列级别依赖关系。
• 引入共现词频（CWF）层，用于对上下文与响应之间共享的低频词进行评分，从而调整其对最终预测的贡献。
• 在Ubuntu对话语料库v2上训练模型，采用单独推理与集成推理策略以提升泛化能力。
• 采用集成模型，对多个架构（MFCW-LSTM与CCN-LSTM）的预测结果取平均，以提升性能。

实验结果

研究问题

• RQ1 是否采用分别建模高频词与低频词的双嵌入策略，能够提升多轮对话中的响应选择性能？
• RQ2 与仅使用序列级别建模相比，捕捉上下文与响应之间的词级别相似性在多大程度上能提升检索性能？
• RQ3 在响应选择中，整合共享低频词的频率信息能在多大程度上提升模型准确率？
• RQ4 结合CCN与LSTM的混合架构是否能在长而复杂的对话序列上超越标准RNN基线模型？
• RQ5 对多个专用模型进行集成学习，是否能在Ubuntu对话语料库上带来显著优于单个模型的性能提升？

主要发现

• CCN-LSTM模型在召回率@1达到69.0%，召回率@2为82.2%，召回率@5为96.0%，在所有指标上均比Dual-LSTM基线模型高出约9%。
• 引入共现词频（CWF）层后，CCN-LSTM模型性能得到提升，表明低频词共现是正确响应选择的强信号。
• 集成模型达到新的最先进水平，召回率@1为72.7%，召回率@2为85.8%，召回率@5为97.1%，分别优于此前最佳结果0.1%、1.1%和0.9%。
• MFCW-LSTM模型在召回率@1上比Dual-LSTM基线高出9%，证明了对低频词与高频词分别进行嵌入的有效性。
• 将MFCW与CCN结合为单一模型并未提升性能，表明两种方法具有互补性，应分别使用效果更佳。
• 结果证实，低频词建模与词级别相似性在开放域多轮对话中实现高精度响应选择方面至关重要。