[论文解读] Emulating Human Conversations using Convolutional Neural Network-based IR

Abhay Prakash, Chris Brockett+1 more|arXiv (Cornell University)|Jun 22, 2016

Topic Modeling参考文献 19被引用 14

一句话总结

本文提出了一种基于卷积深层结构语义模型（cDSSM）的上下文感知信息检索系统，用于在对话智能体中检索类人响应。通过结合cDSSM特征、字符三元组和上下文建模，该方法在响应相关性方面显著优于基线模型，在Twitter对话数据上，SemRel(M,R)+CMM+CCF模型实现了84.4%的1-best精确率。

ABSTRACT

Conversational agents ("bots") are beginning to be widely used in conversational interfaces. To design a system that is capable of emulating human-like interactions, a conversational layer that can serve as a fabric for chat-like interaction with the agent is needed. In this paper, we introduce a model that employs Information Retrieval by utilizing convolutional deep structured semantic neural network-based features in the ranker to present human-like responses in ongoing conversation with a user. In conversations, accounting for context is critical to the retrieval model; we show that our context-sensitive approach using a Convolutional Deep Structured Semantic Model (cDSSM) with character trigrams significantly outperforms several conventional baselines in terms of the relevance of responses retrieved.

研究动机与目标

• 设计一种基于检索方法的对话智能体，以模拟类人交互。
• 通过显式建模对话上下文，提升聊天机器人响应的相关性。
• 利用cDSSM提取的深度学习特征，捕捉超越词法匹配的语义相似性。
• 在真实世界Twitter对话数据上，评估上下文特征与神经排序模型的有效性。
• 证明基于检索的系统若结合深度语义特征，可在无需端到端生成训练的情况下，产生流畅且上下文恰当的响应。

提出的方法

• 该系统将响应生成建模为信息检索问题，从预先索引的成对推文与回复语料库中检索最佳响应。
• 采用卷积深层结构语义模型（cDSSM）从用户消息和候选响应中提取密集且上下文敏感的语义特征。
• 使用字符三元组丰富语义表示，提升对未登录词和口语化语言的鲁棒性。
• 该模型结合多种特征：SemRel(M,R)用于衡量消息与响应之间的语义相关性，SemSim(C,R)用于衡量上下文与响应的一致性，CCF用于衡量上下文与响应之间的词汇重叠。
• 基于条件随机场（CMM）和附加特征（CCF）训练一个排序器，对候选响应进行打分和排序。
• 系统在1,000组来自Twitter的保留对话集上进行评估，结合自动指标与人工判断。

实验结果

研究问题

• RQ1 基于深度语义特征的检索方法是否能在生成上下文相关对话响应方面优于传统IR方法？
• RQ2 与词法或TF-IDF基线相比，cDSSM特征结合字符三元组在多大程度上提升了响应相关性？
• RQ3 显式建模对话上下文（C）在多大程度上提升了响应选择的准确性？
• RQ4 整合多种神经与词法特征（如SemRel、CCF、SemSim）是否在响应质量上带来统计上显著的提升？
• RQ5 仅使用现有真实人类对话的系统是否能在无需端到端生成训练的情况下，实现类人流畅性与连贯性？

主要发现

• SemRel(M,R)+CMM+CCF模型实现了84.4%的1-best精确率，显著优于DCGM-II+CMM基线（82.0%）及其他基线模型。
• 引入CCF特征带来了微小但统计显著的精确率提升，表明其在上下文感知排序方面具有优势。
• 人工评估显示，SemRel(M,R)+CMM+CCF模型在所有基线中得分最高，配对t检验的p值<0.0001。
• 即使在上下文与响应之间无n-gram重叠的情况下，该模型仍表现出色，证明其具备超越表面匹配的语义一致性捕捉能力。
• 定性分析表明，该模型避免了对上下文特征的过度依赖，在上下文不关键时仍能保持响应相关性。
• 系统生成了流畅且类人化的交互，如示例对话所示，响应在上下文中恰当且语调自然。