[论文解读] Augmenting End-to-End Dialog Systems with Commonsense Knowledge

Tom Young, Erik Cambria+4 more|arXiv (Cornell University)|Sep 16, 2017

Topic Modeling被引用 29

一句话总结

本文提出通过使用LSTM-based记忆编码器，将ConceptNet中的外部常识知识引入端到端检索式对话系统，以改进响应选择。通过最大池化联合编码消息内容与相关常识陈述，该模型在知识无关基线模型上取得显著提升，Recall@1达到77.5%，相较TF-IDF基线模型的32.6%有显著提高。

ABSTRACT

Building dialog agents that can converse naturally with humans is a challenging yet intriguing problem of artificial intelligence. In open-domain human-computer conversation, where the conversational agent is expected to respond to human responses in an interesting and engaging way, commonsense knowledge has to be integrated into the model effectively. In this paper, we investigate the impact of providing commonsense knowledge about the concepts covered in the dialog. Our model represents the first attempt to integrating a large commonsense knowledge base into end-to-end conversational models. In the retrieval-based scenario, we propose the Tri-LSTM model to jointly take into account message and commonsense for selecting an appropriate response. Our experiments suggest that the knowledge-augmented models are superior to their knowledge-free counterparts in automatic evaluation.

研究动机与目标

• 通过将外部常识知识作为记忆组件整合，提升开放域闲聊对话系统的性能。
• 探究仅依靠消息内容之外，常识知识是否能提升检索式模型中的响应选择效果。
• 探索在端到端对话系统中使用大规模异构常识知识库（如ConceptNet）的有效性。
• 评估显式编码常识陈述是否优于仅依赖词嵌入或注意力机制的模型，从而提升模型性能。
• 为未来整合情感与事实性知识以增强对话系统的情感智能奠定基础。

提出的方法

• 模型采用双编码器架构：一个用于消息编码，另一个使用双向LSTM对常识陈述进行编码。
• 通过基于关键词的匹配从ConceptNet中检索与消息相关的常识陈述，并通过LSTM编码器将其嵌入向量表示。
• 最终的上下文表征通过在编码后的陈述上进行最大池化得到，随后与消息表征联合结合用于响应评分。
• 在检索式设置中，通过上下文向量与候选响应之间的点积相似度得分，从候选池中选择最佳响应。
• 模型通过基于边距的排序损失进行端到端训练，使正样本响应得分高于负样本。
• 所使用的知识库为ConceptNet，其提供概念之间异构的语义关系（例如，IsA、RelatedTo）

实验结果

研究问题

• RQ1 外部常识知识是否能在仅依赖消息内容之外，提升检索式对话系统中的响应选择效果？
• RQ2 在增强响应相关性与多样性方面，大规模常识知识库（如ConceptNet）的整合效果如何？
• RQ3 通过LSTM编码器显式编码常识陈述，是否优于仅依赖词嵌入或注意力机制的模型？
• RQ4 在开放域对话中，常识知识在多大程度上可弥补模糊或稀疏的消息内容？
• RQ5 该模型在选择合适响应方面的表现与人类基线相比如何？

主要发现

• 知识增强的双LSTM模型达到77.5%的Recall@1，显著优于TF-IDF基线（32.6%）和词嵌入基线（73.5%）。
• 三LSTM模型（对陈述使用更复杂编码器）也达到77.5%的Recall@1，表明更深层的编码可提升性能，优于简单模型。
• 案例研究表明，诸如'bonjour, IsA, hello_in_french'和'pink, RelatedTo, colour'等常识陈述，可直接在模糊或文化语境复杂的对话中实现正确响应选择。
• 在常识知识并非关键的情况下，两种模型表现相近，表明记忆模块仅在需要相关知识时才被激活。
• 模型表明，即使没有显式记忆，部分常识知识仍可通过词嵌入隐式捕捉，但显式整合能带来更可靠、更一致的结果。
• 人类在相同任务上的Recall@1达到87.0%，表明尽管模型性能显著提升，但仍存在与人类理解水平之间的差距。