[论文解读] Dynamic Meta-Embeddings for Improved Sentence Representations

Douwe Kiela, Changhan Wang+1 more|arXiv (Cornell University)|Apr 21, 2018

Topic Modeling被引用 8

一句话总结

本文提出动态元嵌入（DME），一种有监督方法，通过神经网络学习针对特定任务的、动态的预训练词嵌入集成。通过根据上下文动态加权多种嵌入（如GloVe、FastText、LEAR），DME在自然语言蕴含、情感分析和图像字幕检索等句法级任务上实现了最先进性能，同时通过学习到的注意力权重实现了可解释性。

ABSTRACT

While one of the first steps in many NLP systems is selecting what pre-trained word embeddings to use, we argue that such a step is better left for neural networks to figure out by themselves. To that end, we introduce dynamic meta-embeddings, a simple yet effective method for the supervised learning of embedding ensembles, which leads to state-of-the-art performance within the same model class on a variety of tasks. We subsequently show how the technique can be used to shed new light on the usage of word embeddings in NLP systems.

研究动机与目标

• 为解决在下游NLP任务中选择最优预训练词嵌入的挑战，该挑战通常依赖启发式方法且效果不佳。
• 通过允许神经网络动态学习最优组合，消除对手动嵌入选择的需求。
• 通过动态嵌入集成提升词汇覆盖率、领域鲁棒性以及多模态融合能力。
• 通过分析不同语言上下文和任务中哪些嵌入被赋予更高权重，实现可解释性。
• 评估专用嵌入（如LEAR、情感微调的GloVe）在句法级任务中的迁移效果。

提出的方法

• DME使用神经网络学习多个预训练词嵌入的动态、任务特定加权组合。
• 该方法使用可微注意力机制，为每种嵌入源计算上下文相关的权重。
• 最终的句法表示通过输入嵌入的加权和形成，其中权重由基于输入句子的前馈网络预测。
• 模型通过下游任务（如SNLI、SST、Flickr30k）的监督信号进行端到端训练。
• 该方法被应用于BiLSTM-max句法编码器架构中，使句法级任务达到最先进性能。
• 归一化策略和网络深度被证明会影响最终的注意力权重分布。

实验结果

研究问题

• RQ1 神经网络能否学习动态组合多种预训练词嵌入以提升句法表示质量？
• RQ2 与静态拼接或固定集成嵌入相比，动态元嵌入学习是否能带来更好的性能？
• RQ3 学习到的注意力权重在不同嵌入之间如何反映语言和任务特定的偏好？
• RQ4 专用嵌入（如LEAR、情感微调的GloVe）在多大程度上能有效迁移到句法级下游任务？
• RQ5 上下文化是否显著影响分配给词语的注意力权重，特别是多义词？

主要发现

• DME在SNLI和MultiNLI自然语言蕴含任务上实现了最先进性能，优于使用固定嵌入的基线模型。
• 在SST情感分析任务上，DME达到89.0%准确率，显著优于仅使用GloVe或微调嵌入的模型。
• LEAR嵌入在动词上被赋予高注意力权重（平均0.75），表明其在捕捉语义关系方面具有强效用。
• 情感微调的GloVe嵌入获得的注意力权重低于原始GloVe嵌入，表明在句法层面收益有限。
• 在SNLI开发集中，仅有约二十个词在不同上下文中表现出显著的注意力权重变化，表明当前模型的上下文敏感性有限。
• 该方法通过学习到的注意力权重，可直接对词嵌入进行任务特定评估，提供可解释性和语言学洞察。