[论文解读] Context-Attentive Embeddings for Improved Sentence Representations

Douwe Kiela, Changhan Wang+1 more|arXiv (Cornell University)|Apr 21, 2018

Topic Modeling参考文献 73被引用 7

一句话总结

本文提出上下文感知嵌入（Context-Attentive Embeddings），一种使神经网络能够自动学习多种词嵌入类型（例如，word2vec、GloVe）最优组合的方法，通过关注与上下文相关的特征。该方法通过根据输入上下文动态加权嵌入，在多个自然语言处理任务中实现了最先进性能，表明端到端学习嵌入融合优于静态组合。

ABSTRACT

While one of the first steps in many NLP systems is selecting what embeddings to use, we argue that such a step is better left for neural networks to figure out by themselves. To that end, we introduce a novel, straightforward yet highly effective method for combining multiple types of word embeddings in a single model, leading to state-of-the-art performance within the same model class on a variety of tasks. We subsequently show how the technique can be used to shed new insight into the usage of word embeddings in NLP systems.

研究动机与目标

• 通过使神经网络自动学习最优嵌入组合，消除对手动选择词嵌入的依赖。
• 通过上下文感知的方式融合多种预训练嵌入类型（例如，word2vec、GloVe），提升句子表征质量。
• 为不同嵌入类型如何以及为何影响自然语言处理模型性能提供新见解。
• 使用统一的、可训练的融合机制，在同一模型类别中于多种自然语言处理任务上实现最先进结果。

提出的方法

• 该方法引入一种可学习的注意力机制，根据当前句子上下文动态计算多个输入嵌入的权重。
• 每个词通过多种嵌入类型（例如，word2vec、GloVe、fastText）的拼接表示，形成高维输入向量。
• 一种上下文感知的注意力层在嵌入维度上计算注意力权重，突出当前句子最相关的特征。
• 最终的句子表征通过输入嵌入的加权和形成，其中权重由注意力机制确定。
• 整个模型端到端训练，使网络能够学习在每种上下文中哪些嵌入类型和特征最有用。

实验结果

研究问题

• RQ1 神经网络能否自动学习更有效地组合多种词嵌入类型，优于固定或手动组合？
• RQ2 对嵌入特征的上下文感知注意力如何提升多种自然语言处理任务中的句子表征质量？
• RQ3 当不同词嵌入的贡献被动态学习时，可以对它们的功能角色获得哪些新见解？
• RQ4 端到端学习嵌入融合是否能在多种下游任务中带来一致的性能提升？

主要发现

• 所提方法在相同模型类别中于多个自然语言处理任务上实现了最先进性能，优于使用固定或手动选择的嵌入组合的模型。
• 注意力机制有效识别并强调了来自不同嵌入类型的上下文相关特征，提升了表征质量。
• 该模型在多样化任务中表现出一致的性能提升，表明动态融合方法具有广泛适用性。
• 消融实验确认注意力机制显著提升了性能，验证了上下文感知加权的重要性。