[论文解读] Learning Generic Sentence Representations Using Convolutional Neural Networks

Zhe Gan, Yunchen Pu+4 more|arXiv (Cornell University)|Nov 23, 2016

Topic Modeling参考文献 52被引用 16

一句话总结

本文提出一种CNN-LSTM编码器-解码器模型，利用卷积神经网络（CNN）作为句子编码器、长短期记忆网络（LSTM）作为解码器，从大规模未标注文本中学习通用句子表征。该模型在小说数据上进行训练，无需微调即可在多个自然语言处理任务上达到最先进性能，在语义相关性与图像-句子排序等基准测试中优于skip-thought向量。

ABSTRACT

We propose a new encoder-decoder approach to learn distributed sentence representations that are applicable to multiple purposes. The model is learned by using a convolutional neural network as an encoder to map an input sentence into a continuous vector, and using a long short-term memory recurrent neural network as a decoder. Several tasks are considered, including sentence reconstruction and future sentence prediction. Further, a hierarchical encoder-decoder model is proposed to encode a sentence to predict multiple future sentences. By training our models on a large collection of novels, we obtain a highly generic convolutional sentence encoder that performs well in practice. Experimental results on several benchmark datasets, and across a broad range of applications, demonstrate the superiority of the proposed model over competing methods.

研究动机与目标

• 开发一种适用于多种自然语言处理任务的通用句子表征模型，且无需针对特定任务进行微调。
• 通过学习单一、可复用的句子编码器，解决为每个任务单独训练模型的低效问题。
• 探究CNN作为句子编码器在对比RNN-based方法（如skip-thought向量）时的有效性。
• 通过引入分层编码器-解码器结构，提升长距离依赖建模能力，用于段落续写任务。
• 使用线性分类器在下游任务上评估所学表征的泛化能力。

提出的方法

• 使用CNN编码器通过词嵌入上的卷积与池化操作，将输入句子映射为固定长度的连续向量。
• 采用LSTM解码器执行输入句子重建（自编码器）、下一句预测（未来预测器）或联合解码两者（复合模型）。
• 端到端训练模型，采用序列到序列目标，通过句子重建与未来句子预测的交叉熵损失进行优化。
• 引入分层CNN-LSTM模型，将句子编码以预测多个后续句子，从而建模段落级依赖关系。
• 在下游任务微调过程中使用固定词嵌入，避免重新训练句子编码器。
• 将训练好的CNN编码器作为特征提取器，直接应用于基准数据集上的线性分类器，无需进一步调整。

实验结果

研究问题

• RQ1 基于CNN的句子编码器结合LSTM解码器，能否学习到在多种自然语言处理任务中具有泛化能力的通用句子表征？
• RQ2 在语义相关性、释义检测与图像-句子排序任务上，所提出的CNN-LSTM模型相较于skip-thought向量的性能如何？
• RQ3 通过分层编码器-解码器结构引入更长上下文窗口，是否能改善句子间依赖关系的建模？
• RQ4 当作为固定特征提取器在下游任务中使用时，CNN编码器是否具备良好的泛化能力，且无需微调？
• RQ5 与RNN作为句子编码器相比，使用CNN是否能生成更具判别性或鲁棒性的句子表征？

主要发现

• 在COCO图像-句子排序任务中，CNN-LSTM自编码器模型在使用固定嵌入时取得0.8284的Recall@1分数，优于使用相同设置的skip-thought模型（0.8477）。
• 分层CNN-LSTM模型在COCO数据集上取得0.8352的Recall@1与1.0的中位数排名，性能与最佳基线模型相当。
• 在SICK语义相关性基准上，所提模型取得皮尔逊相关系数0.8533与斯皮尔曼等级相关系数0.7891，优于Kiros等人（2015）提出的combine-skip模型。
• 复合模型在MSRP数据集上的释义检测F1分数达到0.8434，超越了所有任务无关方法的最佳结果。
• 在小说数据上预训练的CNN编码器在下游任务中表现出色，无需任何微调即可在8个基准测试中取得竞争力或更优结果。
• 在下游评估中使用固定词嵌入优于可训练嵌入，表明编码器捕捉到了稳健且可迁移的特征。