[论文解读] Fine-grained Analysis of Sentence Embeddings Using Auxiliary Prediction Tasks

Yossi Adi, Einat Kermany+3 more|arXiv (Cornell University)|Aug 15, 2016

Topic Modeling参考文献 27被引用 297

一句话总结

本文提出一个框架，通过从固定长度表示中预测低级属性（长度、单词内容、单词顺序）来分析句子向量，比较 CBOW、LSTM 自编码器和 skip-thoughts。

ABSTRACT

There is a lot of research interest in encoding variable length sentences into fixed length vectors, in a way that preserves the sentence meanings. Two common methods include representations based on averaging word vectors, and representations based on the hidden states of recurrent neural networks such as LSTMs. The sentence vectors are used as features for subsequent machine learning tasks or for pre-training in the context of deep learning. However, not much is known about the properties that are encoded in these sentence representations and about the language information they capture. We propose a framework that facilitates better understanding of the encoded representations. We define prediction tasks around isolated aspects of sentence structure (namely sentence length, word content, and word order), and score representations by the ability to train a classifier to solve each prediction task when using the representation as input. We demonstrate the potential contribution of the approach by analyzing different sentence representation mechanisms. The analysis sheds light on the relative strengths of different sentence embedding methods with respect to these low level prediction tasks, and on the effect of the encoded vector's dimensionality on the resulting representations.

研究动机与目标

• 开发一种与任务无关的方法来探测句子嵌入编码了哪些信息。
• 比较不同的句子表示方法（CBOW、LSTM 自编码器、skip-thought）在低级属性上的表现。
• 研究嵌入维度如何影响长度、内容和顺序的编码。

提出的方法

• 定义三个辅助预测任务（长度、单词内容、单词顺序）来评估句子表示。
• 在固定长度表示上训练简单分类器，以从 s、w、和 w1、w2 预测每个任务。
• 使用来自大型维基百科衍生语料库生成用于每个任务的平衡训练、开发和测试集。
• 在多种嵌入维度下比较 CBOW（平均词向量）和编码器-解码器 LSTM 架构。
• 将 skip-thought 向量作为额外的表示进行比较。
• 通过置换单词顺序并分析合成（随机单词）数据集来评估自然语言属性的影响。

实验结果

研究问题

• RQ1 不同的句子表示在多大程度上编码句子长度、单词内容和单词顺序？
• RQ2 嵌入维度如何影响 CBOW、LSTM 自编码器和 skip-thoughts 在长度、内容和顺序上的编码？
• RQ3 编码器是否依赖自然语言的单词顺序统计量，置换句子如何影响编码？
• RQ4 重构上的 BLEU 分数是否可以可靠地作为低级编码任务中的编码器质量代理？

主要发现

• LSTM 自编码器能够有效地编码单词顺序和内容，性能随维度增加而提高，提升在某个点后达到瓶颈。
• CBOW 出人意料地编码了长度和单词顺序信息，且在内容任务上，低维 CBOW 常常优于更复杂的模型。
• 维度增加对某些任务的收益大于对其他任务；对于 LSTM 编码器，过多的隐藏单元会降低单词内容编码的效果。
• CBOW 的长度编码部分是由于嵌入范数随句子长度衰减所致，而不仅仅是由于单词身份。
• Skip-thought 在单词内容和长度上与高维 LSTM 编码器相似，但在单词顺序上更依赖自然语言模式；对句子进行置换会显著降低它在某些任务上的性能。
• BLEU 分数并不总是能够准确反映用于单词内容/单词顺序编码的编码器质量。