[论文解读] Enhance word representation for out-of-vocabulary on Ubuntu dialogue corpus

Jianxiong Dong, Jim Huang|arXiv (Cornell University)|Feb 7, 2018

Topic Modeling参考文献 37被引用 27

一句话总结

本文提出一种混合词表示方法，将预训练的GloVe词向量与任务特定的word2vec向量相结合，以缓解对话系统中的未登录词（OOV）问题。通过拼接这些向量并将它们整合到带有字符级嵌入的ESIM模型中，该方法在Ubuntu和Douban对话数据集上均取得了当前最优性能，相较于先前模型，R@1提升了3.8%，P@1提升了3.6%。

ABSTRACT

Ubuntu dialogue corpus is the largest public available dialogue corpus to make it feasible to build end-to-end deep neural network models directly from the conversation data. One challenge of Ubuntu dialogue corpus is the large number of out-of-vocabulary words. In this paper we proposed a method which combines the general pre-trained word embedding vectors with those generated on the task-specific training set to address this issue. We integrated character embedding into Chen et al's Enhanced LSTM method (ESIM) and used it to evaluate the effectiveness of our proposed method. For the task of next utterance selection, the proposed method has demonstrated a significant performance improvement against original ESIM and the new model has achieved state-of-the-art results on both Ubuntu dialogue corpus and Douban conversation corpus. In addition, we investigated the performance impact of end-of-utterance and end-of-turn token tags.

研究动机与目标

• 为解决对话系统中的未登录词（OOV）问题，特别是Ubuntu对话语料库中大量罕见和专业术语的问题。
• 通过融合通用预训练嵌入（GloVe）与从任务训练数据中学习到的领域特定嵌入（word2vec），提升词表示能力。
• 评估该混合表示在提升下一句话语选择任务中序列建模性能方面的有效性。
• 研究特殊标记——句末标记（__eou__）和对话轮次结束标记（__eot__）——对模型性能的影响。

提出的方法

• 所提出的方法将预训练的GloVe词向量与在Ubuntu对话语料库上训练的word2vec向量拼接，形成一种混合词表示。
• 将混合向量整合到增强型序列推理模型（ESIM）中，该模型采用双向LSTM编码器并结合注意力机制与最大池化操作。
• 通过字符n-gram上的卷积神经网络（CNN）引入字符级嵌入，以进一步改善子词级别表示并减少OOV影响。
• 采用向量拼接方式结合词级别与字符级别表示，增强语义与形态理解能力。
• 在词汇表中显式包含特殊标记__eou__和__eot__，以保留话语与对话轮次的边界结构。
• 该方法应用于Ubuntu对话语料库（V2）与Douban对话语料库，以实现跨数据集评估。

实验结果

研究问题

• RQ1 将预训练与任务特定的词嵌入相结合，是否能显著降低对话建模中未登录词的影响？
• RQ2 与仅使用预训练或仅使用任务特定嵌入相比，该混合词表示在序列建模任务中的表现如何？
• RQ3 __eou__和__eot__特殊标记对多轮对话理解中模型性能的贡献是什么？
• RQ4 所提出的方法是否能在不同对话数据集上泛化并取得当前最优结果？
• RQ5 增强的词表示是否能提升简单平均向量模型的性能，表明其具有更广泛的应用潜力？

主要发现

• 在Ubuntu对话语料库（V2）上，所提出的混合词表示相较于之前最佳单模型基线，R@1得分提升了3.8%，集成模型达到75.9%。
• 在Douban对话语料库上，该方法相较于之前最佳模型，P@1得分提升了3.6%，表现出强大的泛化能力。
• 包含__eou__和__eot__标记显著提升了模型性能，当移除这些标签时，R@1从0.717下降至0.683。
• 案例研究显示，__eou__和__eot__标记在注意力机制中具有较强的信号强度，表明它们携带了对建模对话流有用的结构信息。
• 简单平均向量模型也从增强后的向量中受益，证实其有效性不仅限于复杂架构。
• 该方法轻量、与语言无关，可轻松集成到大多数对话与NLP任务的深度学习模型中。