[论文解读] Response Selection with Topic Clues for Retrieval-based Chatbots

Yu Wu, Wei Wu+2 more|arXiv (Cornell University)|Apr 30, 2016

Topic Modeling被引用 11

一句话总结

本文提出TACNTN，一种主题感知的卷积神经张量网络，通过整合LDA识别出的词语所蕴含的主题信息，提升检索式聊天机器人中的响应选择性能。通过联合学习消息与响应向量，以及基于加权主题词生成的主题感知向量，TACNTN显著提升了匹配准确率，尤其在内容丰富的响应上表现更优，在公开数据集和人工标注数据集上均优于当前最先进方法。

ABSTRACT

We consider incorporating topic information into message-response matching to boost responses with rich content in retrieval-based chatbots. To this end, we propose a topic-aware convolutional neural tensor network (TACNTN). In TACNTN, matching between a message and a response is not only conducted between a message vector and a response vector generated by convolutional neural networks, but also leverages extra topic information encoded in two topic vectors. The two topic vectors are linear combinations of topic words of the message and the response respectively, where the topic words are obtained from a pre-trained LDA model and their weights are determined by themselves as well as the message vector and the response vector. The message vector, the response vector, and the two topic vectors are fed to neural tensors to calculate a matching score. Empirical study on a public data set and a human annotated data set shows that TACNTN can significantly outperform state-of-the-art methods for message-response matching.

研究动机与目标

• 通过引入主题信息以弥合语义鸿沟，提升检索式聊天机器人中消息与响应的匹配性能。
• 解决标准匹配模型常遗漏引入新主题的高信息量响应的问题。
• 设计一种神经网络架构，联合建模消息-响应语义与主题相关性，以实现更优的排序效果。
• 通过实证验证主题感知建模在开放域、单轮响应选择任务中的有效性。

提出的方法

• TACNTN使用Siamese CNN将消息和响应编码为稠密向量，捕捉语义表示。
• 从预训练的Twitter LDA模型中提取消息和响应的主题词，形成主题词列表。
• 通过主题词嵌入的加权平均生成主题向量，其中权重由消息和响应向量的注意力机制学习得到。
• 通过神经张量网络计算三组向量对的匹配分数：(消息, 响应)、(消息, 响应主题) 和 (消息主题, 响应)。
• 通过端到端训练联合优化匹配分数，实现动态的主题相关性学习。
• 该方法将主题信号作为自适应、上下文感知的组件，而非静态特征，随输入语义动态演化。

实验结果

研究问题

• RQ1 主题信息能否提升检索式聊天机器人中消息与响应的匹配性能，尤其是在内容丰富的响应上？
• RQ2 在开放域对话系统中，引入主题感知向量如何影响神经匹配模型的性能？
• RQ3 消息主题与响应主题在提升响应选择性能中的相对贡献如何？
• RQ4 与固定或扩展的主题表示相比，联合学习主题权重与消息及响应表征是否更具优势？

主要发现

• TACNTN在Ubuntu和Tieba数据集上均显著优于所有基线模型，t检验的p值均≤0.01。
• 在Ubuntu数据集上，TACNTN的R@1达到0.759，优于次佳基线0.004；在Tieba数据集上，MRR达到0.804。
• 模型在长响应（≥10个词）上的提升最为显著，准确率从CNTN的0.702提升至TACNTN的0.723，表明对内容丰富回复的增益显著。
• 消融实验表明，通过注意力机制学习主题向量权重（TACNTN）优于固定平均（TACNTN avg）或简单扩展（TACNTN exp）。
• 消息和响应的主题向量均不可或缺：移除任一（TACNTN msg 或 TACNTN res）均导致性能下降，证明双向主题对齐至关重要。
• 在案例研究中，TACNTN通过利用'character'和'movie'等主题信号，正确匹配了一则关于蝙蝠侠角色的语义不对称响应。