[论文解读] Learned in Translation: Contextualized Word Vectors

Bryan McCann, James Bradbury+2 more|arXiv (Cornell University)|Aug 1, 2017

Topic Modeling被引用 240

一句话总结

本文介绍 CoVe，即来自 MT 训练的 MT-LSTM 编码器的上下文向量，并显示将 CoVe 追加到词嵌入中，在情感分析、蕴含、QA 等多项 NLP 任务上相对于仅使用词向量有性能提升。

ABSTRACT

Computer vision has benefited from initializing multiple deep layers with weights pretrained on large supervised training sets like ImageNet. Natural language processing (NLP) typically sees initialization of only the lowest layer of deep models with pretrained word vectors. In this paper, we use a deep LSTM encoder from an attentional sequence-to-sequence model trained for machine translation (MT) to contextualize word vectors. We show that adding these context vectors (CoVe) improves performance over using only unsupervised word and character vectors on a wide variety of common NLP tasks: sentiment analysis (SST, IMDb), question classification (TREC), entailment (SNLI), and question answering (SQuAD). For fine-grained sentiment analysis and entailment, CoVe improves performance of our baseline models to the state of the art.

研究动机与目标

• 通过利用在机器翻译上训练的编码器表示来推动 NLP 的迁移学习，类似于视觉领域的预训练 CNN。
• 开发一个可复用的基于 MT 的编码器，能为下游任务提供逐词的上下文向量。
• 证明用 CoVe 增强词嵌入能提高分类、蕴含和问答任务的性能。
• 研究 MT 数据的数量和质量如何影响来自 CoVe 的下游收益。

提出的方法

• 在英语→德语 MT 数据上训练一个两层双向 LSTM 编码器（MT-LSTM），以为每个输入词生成上下文表示。
• 将 CoVe(w) 定义为 MT-LSTM(GloVe(w))，并将 CoVe 与 GloVe 词向量连接，供下游模型使用。
• 开发一个通用的双注意力分类网络（BCN），使用双注意力和池化从增强了 CoVe 的输入序列中产生任务表示。
• 将 Dynamic Coattention Network 框架改编用于问答，以整合 CoVe。
• 对在 MT-Small、MT-Medium 和 MT-Large 上训练的 MT-LSTMs 进行实验，以研究数据规模对迁移的影响。
• 将 CoVe 与基线词向量和字符 n-gram 表示进行比较，并在 SST、SNLI、SQuAD、TREC 和 IMDb 上进行测试。

实验结果

研究问题

• RQ1 与仅使用基线预训练词向量相比，是否将 CoVe 纳入可提升下游 NLP 任务的性能？
• RQ2 MT 训练数据的规模/质量如何影响 CoVe 在不同任务上的有效性？
• RQ3 在不同 NLP 任务中，CoVe 表示是否与词向量和字符级特征互补？
• RQ4 是否能够将 MT 训练的编码器有效地迁移到单句和多句分类、蕴含与 QA 任务？

主要发现

• 将 CoVe 追加到 GloVe 向量后，在多个任务上能持续提升验证集表现。
• CoVe 相对于仅使用字符 n-gram 表示提供更大的提升，将 CoVe 与字符特征结合在某些任务上还能带来进一步提升。
• 在更大 MT 数据集上训练的 MT-LSTMs（MT-Large）比较小数据集得到更强的下游收益。
• 在所报告的配置中，SST-2、SST-5 和 SNLI 上获得了最先进的结果，使用了 CoVe。
• 在 SQuAD 中，将 CoVe 添加到强模型（DCN）上，相对于若干基线提升了 exact match 和 F1。