[论文解读] Building Sequential Inference Models for End-to-End Response Selection

Jia-Chen Gu, Zhen-Hua Ling+2 more|arXiv (Cornell University)|Dec 3, 2018

Topic Modeling参考文献 16被引用 6

一句话总结

本论文提出了一种增强的端到端序列推理模型，用于开放域对话中的响应选择，通过任务特定的词表示、注意力机制的层次递归编码器、结合多维池化与最后状态池化的新型池化策略，以及强调最后一句上下文话语的修改层，对原始ESIM模型进行了改进。该模型在DSTC7子任务1的Ubuntu数据集上获得第二名，在Advising数据集上获得第三名。

ABSTRACT

This paper presents an end-to-end response selection model for Track 1 of the 7th Dialogue System Technology Challenges (DSTC7). This task focuses on selecting the correct next utterance from a set of candidates given a partial conversation. We propose an end-to-end neural network based on enhanced sequential inference model (ESIM) for this task. Our proposed model differs from the original ESIM model in the following four aspects. First, a new word representation method which combines the general pre-trained word embeddings with those estimated on the task-specific training set is adopted in order to address the challenge of out-of-vocabulary (OOV) words. Second, an attentive hierarchical recurrent encoder (AHRE) is designed which is capable to encode sentences hierarchically and generate more descriptive representations by aggregation. Third, a new pooling method which combines multi-dimensional pooling and last-state pooling is used instead of the simple combination of max pooling and average pooling in the original ESIM. Last, a modification layer is added before the softmax layer to emphasize the importance of the last utterance in the context for response selection. In the released evaluation results of DSTC7, our proposed method ranked second on the Ubuntu dataset and third on the Advising dataset in subtask 1 of Track 1.

研究动机与目标

• 通过增强ESIM模型以实现端到端学习，提升开放域对话中的响应选择性能。
• 通过结合预训练嵌入与任务特定嵌入的混合词表示策略，解决未登录词（OOV）问题。
• 通过注意力机制的层次递归编码器（AHRE）提升句子表征，实现更优的上下文建模。
• 通过将标准池化替换为多维池化与最后状态池化的组合，提升上下文-响应匹配效果。
• 通过在最终softmax层前引入修改层，显式增强对话上下文中最后一句话的贡献。

提出的方法

• 采用混合词表示方法，结合通用预训练词嵌入与在任务特定训练数据上微调的嵌入，以减少OOV问题。
• 设计注意力机制的层次递归编码器（AHRE），通过堆叠双向LSTM与注意力机制，实现对话语的层次编码，捕捉词级与话语级表征。
• 提出一种新型池化机制，结合多维池化（跨不同注意力头）与最后状态池化（来自编码器最终隐藏状态），生成更丰富的上下文-响应匹配特征。
• 在最终softmax层前增加一个修改层，重新加权得分，显式强调对话上下文中最后一句话的贡献。
• 采用交叉熵损失进行端到端训练，通过三个独立初始化模型的集成平均以提升泛化能力。

实验结果

研究问题

• RQ1 混合词表示策略是否能改善响应选择模型中的OOV处理？
• RQ2 注意力机制的层次递归编码器是否相比标准RNN能生成更优的句子表征，以用于对话上下文建模？
• RQ3 多维池化与最后状态池化的组合是否比标准的最大池化与平均池化更有效于上下文-响应匹配？
• RQ4 显式强调对话上下文中的最后一句话是否能提升响应选择性能？
• RQ5 所提出的各组件如何共同影响模型在多样化对话领域中的泛化能力？

主要发现

• 所提模型在DSTC7子任务1的Ubuntu数据集上获得第二名，在Advising数据集上获得第三名，优于其他18名参赛者。
• 消融实验表明，移除修改层会显著降低性能，验证了其在强调最后一句话中的作用。
• 将AHRE替换为单层BiLSTM导致性能下降，证明了层次编码的优势。
• 所提出的池化策略优于原始ESIM模型采用的最大池化与平均池化，表明其匹配表征能力得到提升。
• 固定词嵌入进行训练导致性能下降，表明微调任务特定表示能提升模型表现。
• 该模型在Ubuntu数据集上泛化良好，测试性能超过开发集性能，表明过拟合程度较低。