[论文解读] Knowledge-incorporating ESIM models for Response Selection in Retrieval-based Dialog Systems

Jatin Ganhotra, Siva Sankalp Patel+1 more|arXiv (Cornell University)|Jul 11, 2019

Topic Modeling参考文献 24被引用 5

一句话总结

本文提出 K-ESIM 和 T-ESIM，分别为 ESIM 模型在检索式对话系统中的响应选择任务引入外部知识（K-ESIM）和利用相似对话上下文（T-ESIM）的增强版本。在 Ubuntu 数据集上，T-ESIM 在 Subtask 1 上达到 64.3 R@1，显著优于基线 ESIM 的 50.1 R@1，表明知识融合与上下文相似性可有效提升响应选择的准确性。

ABSTRACT

Goal-oriented dialog systems, which can be trained end-to-end without manually encoding domain-specific features, show tremendous promise in the customer support use-case e.g. flight booking, hotel reservation, technical support, student advising etc. These dialog systems must learn to interact with external domain knowledge to achieve the desired goal e.g. recommending courses to a student, booking a table at a restaurant etc. This paper presents extended Enhanced Sequential Inference Model (ESIM) models: a) K-ESIM (Knowledge-ESIM), which incorporates the external domain knowledge and b) T-ESIM (Targeted-ESIM), which leverages information from similar conversations to improve the prediction accuracy. Our proposed models and the baseline ESIM model are evaluated on the Ubuntu and Advising datasets in the Sentence Selection track of the latest Dialog System Technology Challenge (DSTC7), where the goal is to find the correct next utterance, given a partial conversation, from a set of candidates. Our preliminary results suggest that incorporating external knowledge sources and leveraging information from similar dialogs leads to performance improvements for predicting the next utterance.

研究动机与目标

• 通过整合外部领域知识，提升检索式对话系统中的响应选择性能。
• 通过在训练过程中利用过去相似对话的信息，提升预测准确性。
• 开发端到端可训练的模型，使其在真实世界对话基准上超越基线 ESIM 模型。
• 在多样化子任务上评估模型性能，包括零样本选择和知识增强的响应排序。
• 探究知识表示方式和候选样本缩减技术对模型泛化能力的影响。

提出的方法

• K-ESIM 通过在知识文本上使用注意力机制，将非结构化的外部知识（如 Linux 手册页）集成到 ESIM 架构中。
• T-ESIM 引入一种目标注意力机制，在推理过程中检索并关注相似的对话历史，以改善上下文建模。
• 模型采用双编码架构，使用 BiLSTM 层对上下文和候选样本进行编码，随后通过带有交互建模的匹配层。
• 词表示通过预训练的 GloVe、word2vec 和字符级嵌入学习，并在 DSTC7 数据集上进行微调。
• 使用带有 ReLU 激活函数的两层前馈网络和 Sigmoid 输出进行最终分类，采用二元交叉熵损失进行训练。
• 在评估过程中应用候选样本缩减（CR），从训练和验证数据中去除重复项，以提升泛化能力和公平性。

实验结果

研究问题

• RQ1 在检索式对话系统中，整合外部非结构化知识是否能提升响应选择性能？
• RQ2 利用相似对话历史的信息是否能增强模型预测正确下一话语的能力？
• RQ3 K-ESIM 和 T-ESIM 在 DSTC7 句子选择任务的多个子任务上与基线 ESIM 模型相比表现如何？
• RQ4 知识表示质量对模型性能有何影响，特别是在外部知识稀疏或结构不良的情况下？
• RQ5 候选样本缩减和基于信息检索的候选样本筛选能否提升模型评估的稳定性和性能？

主要发现

• 在 Ubuntu 数据集上，T-ESIM 在 Subtask 1 上达到 64.3 R@1，显著优于基线 ESIM 的 50.1 R@1。
• K-ESIM 在 Ubuntu Subtask 5 验证集上表现提升，达到 44.82 R@1 和 0.5452 MRR，优于 ESIM 的 43.76 R@1 和 0.5324 MRR。
• T-ESIM-Sampled 和 T-ESIM-CR 变体在 Ubuntu Subtask 1 上表现最佳，达到 64.3 R@1，表明候选样本采样和缩减的有效性。
• 在 Advising 数据集上，K-ESIM 在 Subtask 5 上表现不如基线 ESIM，表明当前的知识表示方式不适用于课程信息。
• 模型在 Subtask 1 和 Subtask 4 上均表现出一致改进，表明其在检测候选集中不存在正确响应时具有鲁棒性。
• 使用 TF-IDF 进行知识检索和候选样本筛选是有效的，但未来工作应探索神经检索方法以获得更优性能。