[论文解读] Evaluation of sentence embeddings in downstream and linguistic probing tasks

Christian S. Perone, Roberto Pereira Silveira+1 more|arXiv (Cornell University)|Jun 16, 2018

Topic Modeling参考文献 32被引用 103

一句话总结

这篇论文对最近的句子嵌入方法在下游任务和语言探测任务上进行了全面评估，尚无普适编码器，但强调基于 ELMo 的 BoW 表征表现强劲，以及将语言模型特征整合的潜力。

ABSTRACT

Despite the fast developmental pace of new sentence embedding methods, it is still challenging to find comprehensive evaluations of these different techniques. In the past years, we saw significant improvements in the field of sentence embeddings and especially towards the development of universal sentence encoders that could provide inductive transfer to a wide variety of downstream tasks. In this work, we perform a comprehensive evaluation of recent methods using a wide variety of downstream and linguistic feature probing tasks. We show that a simple approach using bag-of-words with a recently introduced language model for deep context-dependent word embeddings proved to yield better results in many tasks when compared to sentence encoders trained on entailment datasets. We also show, however, that we are still far away from a universal encoder that can perform consistently across several downstream tasks.

研究动机与目标

• 评估当代句子嵌入在多样化下游任务上的迁移性能。
• 通过探测任务研究句子嵌入所捕捉的语言特性。
• 比较纯无监督/自监督与有监督的句子嵌入方法。
• 确定哪些表示最能支持通用迁移，以及它们编码的语言特征。

提出的方法

• 使用 SentEval 框架在下游任务和探测任务上评估一系列句子嵌入方法。
• 将词嵌入的词袋平均（ELMo 变体、FastText、GloVe、Word2Vec、p-mean）以及编码器/解码器模型（Skip-Thought、InferSent、USE、UNiversal Sentence Encoder 变体）用于表示。
• 在下游任务上在句子嵌入之上训练一个简单的 MLP 分类器（或用于 WC 探测的逻辑回归）。
• 应用 10 个语言探测任务来分析嵌入捕捉的语言特性。
• 使用 STS 基准及相关数据集衡量语义相关性和文本相似度。
• 使用标准化流程复制评估，以实现跨方法比较。

实验结果

研究问题

• RQ1 最近的句子嵌入方法在广泛的下游任务上表现如何？
• RQ2 句子嵌入是否普遍在各任务之间迁移，还是存在明确的任务相关强项与弱项？
• RQ3 不同嵌入编码了哪些语言特性，如何通过探测任务揭示？
• RQ4 基于语言模型的嵌入（如 ELMo、USE）是否在多种任务上优于传统的 BoW 平均？
• RQ5 哪些配置在性能与计算成本之间提供最佳平衡？

主要发现

• ELMo 与 BoW 平均（所有层）在若干下游任务上达到最佳表现，表明深层上下文特征有助于迁移。
• InferSent 在蕴含相关任务（如 SICK-E）和改写相关任务中表现突出，反映了 SNLI/MNLi 训练的优势。
• Universal Sentence Encoder（Transformer）在若干下游任务和语义相似性基准上表现强劲，但结果因任务而异。
• p-mean 在简单的 GloVe/Word2Vec/fastText 平均之上提供了强基线，尤其资源受限时。
• 总体而言，没有单一方法在所有任务上都以一致的性能成为普适编码器；整合深度语言模型表示是一个有前景的方向。