[论文解读] Learning Document Embeddings by Predicting N-grams for Sentiment Classification of Long Movie Reviews

Bofang Li, Tao Liu+3 more|arXiv (Cornell University)|Dec 27, 2015

Topic Modeling参考文献 16被引用 12

一句话总结

该论文提出 DV-ngram，一种文档嵌入模型，通过训练文档向量以预测单词和 n-gram，从而在长篇电影评论的情感分类中增强语义含义和词序保留。该模型在性能上超越了先前的深度学习和词袋 n-gram 方法，在 IMDB 数据集上与 NBSVM 和 RNN-LM 模型集成后，实现了 92.91% 的最先进准确率。

ABSTRACT

Despite the loss of semantic information, bag-of-ngram based methods still achieve state-of-the-art results for tasks such as sentiment classification of long movie reviews. Many document embeddings methods have been proposed to capture semantics, but they still can't outperform bag-of-ngram based methods on this task. In this paper, we modify the architecture of the recently proposed Paragraph Vector, allowing it to learn document vectors by predicting not only words, but n-gram features as well. Our model is able to capture both semantics and word order in documents while keeping the expressive power of learned vectors. Experimental results on IMDB movie review dataset shows that our model outperforms previous deep learning models and bag-of-ngram based models due to the above advantages. More robust results are also obtained when our model is combined with other models. The source code of our model will be also published together with this paper.

研究动机与目标

• 解决现有文档嵌入模型在长篇评论情感分类中捕捉语义和词序方面的局限性。
• 通过将文档向量学习与词向量预测分离，改进 Paragraph Vector，提升文档表示的表达能力。
• 将 n-gram 特征整合到文档向量学习中，以在保持语义表示的同时保留序列信息。
• 在 IMDB 电影评论情感分类基准上实现最先进性能。
• 通过特征组合与集成学习，展示模型的鲁棒性与泛化能力。

提出的方法

• 该模型通过移除联合词向量学习，修改 Paragraph Vector，使文档向量能够同时预测单个词和 n-gram 特征。
• 采用简化架构，仅通过预测自身内容来学习文档向量，确保完全的表达能力。
• 在训练过程中将 n-gram 特征作为额外目标，使模型能够捕捉局部序列模式。
• 使用类似于 CBOW 的预测目标，但以文档向量为主要输出。
• 利用无标签数据进行预训练，提升在微调阶段的泛化能力。
• 通过与 NB-BO-ngram 向量的特征组合以及与 RNN-LM 和 NBSVM 的集成学习，进一步提升模型性能。

实验结果

研究问题

• RQ1 能否通过同时预测单词和 n-gram 的文档嵌入模型，在长篇评论情感分类中超越标准的 Paragraph Vector？
• RQ2 将文档向量学习与词向量预测分离，是否能提升文档表示的表达能力？
• RQ3 n-gram 预测能否帮助保留长文档嵌入中的词序与序列上下文？
• RQ4 在 IMDB 情感分类基准上，该模型与最先进词袋 n-gram 和深度学习模型相比表现如何？
• RQ5 通过与其他模型集成或利用无标签数据，能否进一步提升模型性能？

主要发现

• DV-ngram 模型在 IMDB 数据集上实现了单模型 91.75% 的测试准确率，优于先前的深度学习模型和词袋 n-gram 基线模型。
• 与 NB-BO-trigram 特征组合后，模型准确率达到 92.74%，超过最佳报告的特征组合模型（seq2-CNN 的 92.33%）。
• 在预训练阶段使用无标签数据，模型单独达到 92.14% 的准确率，展现出强大的鲁棒性与泛化能力。
• 在集成设置中，将 DV-ngram 与 RNN-LM 和 NBSVM 结合，实现了 93.05% 的新最先进准确率，超过此前最佳集成模型的 92.89%。
• 该模型优于原始 Paragraph Vector（88.73%）和简化版 PV 变体（提升 0.87%），验证了 n-gram 预测的有效性。
• 即使在预训练阶段未使用有标签数据，模型性能依然表现强劲，表明其在情感分类任务中具有强大的归纳偏置。