[论文解读] An efficient framework for learning sentence representations

Lajanugen Logeswaran, Honglak Lee|arXiv (Cornell University)|Mar 7, 2018

Topic Modeling参考文献 33被引用 300

一句话总结

本文提出 QT，一种判别式、高效的框架，用于从未标注文本学习句子嵌入，在显著提高训练速度的同时达到无监督性能的最新水平。

ABSTRACT

In this work we propose a simple and efficient framework for learning sentence representations from unlabelled data. Drawing inspiration from the distributional hypothesis and recent work on learning sentence representations, we reformulate the problem of predicting the context in which a sentence appears as a classification problem. Given a sentence and its context, a classifier distinguishes context sentences from other contrastive sentences based on their vector representations. This allows us to efficiently learn different types of encoding functions, and we show that the model learns high-quality sentence representations. We demonstrate that our sentence representations outperform state-of-the-art unsupervised and supervised representation learning methods on several downstream NLP tasks that involve understanding sentence semantics while achieving an order of magnitude speedup in training time.

研究动机与目标

• 激发在无需标注数据的情况下学习高质量的句子表示。
• 提出一个判别性目标，在候选中识别正确的上下文句子。
• 使编码器架构灵活且训练高效，以适应大规模语料。
• 表明学习到的嵌入在语义NLP任务上提升性能。
• 提供预训练的编码器，并展示其与以往方法相比具有竞争力甚至更优的性能。

提出的方法

• 通过编码器 f 和 g 产生的句子嵌入来表示含义。
• 用判别性目标替代生成， 从候选中选择正确的上下文句子。
• 使用打分函数 c(u,v)；实际中 c 是内积 u^T v。
• 使用对候选上下文的交叉熵损失进行训练（真实句子比负样本更可信）。
• 在测试时将 f(s) 和 g(s) 拼接作为句子表示。
• 使用基于 GRU 的 RNN 编码器进行实验，在 BookCorpus 和 UMBC 上训练，并在 MC-QT 中使用预训练的词向量。

实验结果

研究问题

• RQ1 判别式的上下文预测目标是否能够从未标注数据中产生高质量的句子嵌入？
• RQ2 不同的编码器架构（单向/双向 GRU、CNN 变体、多通道输入）如何影响性能？
• RQ3 相较于基于生成的句子模型，可以获得哪些训练效率和下游任务精度的提升？
• RQ4 预训练词向量和更大的语料是否还能在不牺牲效率的前提下进一步提升表示？
• RQ5 学得的表示在语义任务上与有监督和其他无监督方法相比如何？

主要发现

• QT 的四种变体（单向/双向/组合/多通道）在下游语义任务上取得了与最新无监督方法相竞争的结果。
• 带有预训练 GloVe 词嵌入的 MultiChannel-QT（MC-QT）取得强劲表现，超越了若干先前方法。
• 该框架比先前的编码器-解码器方法快一个数量级训练，同时保持或提高准确性。
• 在拼接的 BookCorpus+UMBC 数据上，在许多任务上观察到明显改进，展示了对大规模语料的可扩展性。
• 融合多种 QT 模型可达到接近有监督的性能，在某些任务中甚至超过特定任务的有监督基线。
• 该方法提供高效、灵活的编码器，适合大规模无监督句子表示学习。