[论文解读] A Sequential Matching Framework for Multi-turn Response Selection in Retrieval-based Chatbots

Yu Wu, Wei Wu+4 more|arXiv (Cornell University)|Oct 31, 2017

Topic Modeling参考文献 54被引用 6

一句话总结

本文提出了一种用于检索式聊天机器人多轮响应选择的序列匹配框架（SMF），其中对话上下文中的每个话语在被循环神经网络处理以建模话语依赖关系之前，先与响应候选进行交互。该方法在两个公开数据集上显著优于当前最先进模型，同时序列卷积和注意力网络均实现了优越性能，并支持可解释的注意力可视化。

ABSTRACT

We study the problem of response selection for multi-turn conversation in retrieval-based chatbots. The task requires matching a response candidate with a conversation context, whose challenges include how to recognize important parts of the context, and how to model the relationships among utterances in the context. Existing matching methods may lose important information in contexts as we can interpret them with a unified framework in which contexts are transformed to fixed-length vectors without any interaction with responses before matching. The analysis motivates us to propose a new matching framework that can sufficiently carry the important information in contexts to matching and model the relationships among utterances at the same time. The new framework, which we call a sequential matching framework (SMF), lets each utterance in a context interacts with a response candidate at the first step and transforms the pair to a matching vector. The matching vectors are then accumulated following the order of the utterances in the context with a recurrent neural network (RNN) which models the relationships among the utterances. The context-response matching is finally calculated with the hidden states of the RNN. Under SMF, we propose a sequential convolutional network and sequential attention network and conduct experiments on two public data sets to test their performance. Experimental results show that both models can significantly outperform the state-of-the-art matching methods. We also show that the models are interpretable with visualizations that provide us insights on how they capture and leverage the important information in contexts for matching.

研究动机与目标

• 解决在上下文理解与话语关系至关重要的多轮对话中选择相关响应的挑战。
• 克服现有模型分别编码上下文与响应的局限性，避免在匹配前丢失重要语义信息。
• 设计一种框架，保留关键上下文信息，并在响应选择过程中建模话语之间的序列依赖关系。
• 开发可解释的模型，突出显示对匹配最具影响力的上下文部分，并在公开基准上展示稳健性能。

提出的方法

• 序列匹配框架（SMF）通过将上下文中的每个话语单独与响应候选进行交互，生成匹配向量。
• 这些匹配向量随后输入循环神经网络（RNN），按顺序累积，以建模话语之间的依赖关系。
• 最终的上下文-响应匹配分数由RNN的最终隐藏状态计算得出。
• 在SMF下实现了两种具体模型：使用卷积和池化的序列卷积网络（SCN），以及使用注意力机制的序列注意力网络（SAN）。
• 该框架支持注意力可视化，可实现对哪些上下文部分对匹配最具影响力进行可解释分析。
• 模型通过人工标注的正样本对和负采样响应进行训练，性能在两个公开的多轮对话数据集上进行评估。

实验结果

研究问题

• RQ1 与传统向量编码方法相比，序列匹配框架是否能更好地保留并利用重要上下文信息？
• RQ2 基于RNN的序列建模方法在多轮对话中捕捉话语间依赖关系的效率如何？
• RQ3 所提出的模型（SCN和SAN）相较于现有最先进方法，在响应选择准确率上的提升程度如何？
• RQ4 所提出模型中的注意力机制在多大程度上具有可解释性，是否能突出显示上下文中的语义相关部分？
• RQ5 在所提出的框架中，模型效率、准确率与超参数敏感性之间存在何种权衡？

主要发现

• 所提出的序列匹配框架（SMF）在两个公开的多轮对话数据集上显著优于现有最先进模型，SCN与SAN均超越基线模型。
• 在Douban数据集上，SCN的P@1得分为42.1%，SAN为43.3%，均比最佳基线高出超过5个百分点。
• 在Cornell Movie Dialogs数据集上，SCN与SAN的P@1得分分别为58.7%和59.2%，再次超越最先进水平。
• 可视化结果表明，模型能够学习关注上下文中的关键短语，如“drum class”和“drum”，展示了可解释性与语义聚焦能力。
• 消融实验确认，序列交互与基于RNN的依赖建模两个组件均对性能提升有显著贡献。
• 尽管性能优异，模型在逻辑一致性方面仍存在挑战，例如在某些情况下响应与上下文的情感或逻辑相矛盾，表明未来需整合逻辑推理特征。