[论文解读] Cached Long Short-Term Memory Neural Networks for Document-Level Sentiment Classification

Jiacheng Xu, Danlu Chen+2 more|arXiv (Cornell University)|Oct 17, 2016

Topic Modeling参考文献 27被引用 7

一句话总结

本文提出缓存长短期记忆（CLSTM）网络，通过引入具有不同遗忘率的多组记忆机制，以改进文档级情感分类。通过将LSTM的隐藏状态划分为具有不同遗忘动态的独立记忆组，CLSTM能更好地保留长距离情感依赖关系，在Yelp 2013、Yelp 2014和IMDB数据集上实现最先进性能，优于单向和双向基线模型，且无需依赖外部用户或产品信息。

ABSTRACT

Recently, neural networks have achieved great success on sentiment classification due to their ability to alleviate feature engineering. However, one of the remaining challenges is to model long texts in document-level sentiment classification under a recurrent architecture because of the deficiency of the memory unit. To address this problem, we present a Cached Long Short-Term Memory neural networks (CLSTM) to capture the overall semantic information in long texts. CLSTM introduces a cache mechanism, which divides memory into several groups with different forgetting rates and thus enables the network to keep sentiment information better within a recurrent unit. The proposed CLSTM outperforms the state-of-the-art models on three publicly available document-level sentiment analysis datasets.

研究动机与目标

• 解决使用循环神经网络架构进行文档级情感分类时建模长距离情感依赖的挑战。
• 克服标准LSTM在长序列中因统一遗忘率而难以保留全局情感信息的局限性。
• 设计一种记忆机制，能够在单个RNN单元内区分短期与长期情感线索。
• 在不依赖用户或产品等外部元数据的情况下，实现在文档级情感分类数据集上的优越性能。

提出的方法

• 引入一种缓存机制，将LSTM的隐藏状态划分为多个组，每组具有不同的遗忘率。
• 为充当短期缓存的组分配较高的遗忘率，以实现对局部情感模式的临时保留。
• 为充当长期记忆的组分配较低的遗忘率，以在长序列中保持全局情感上下文。
• 通过时间反向传播端到端训练模型，各组共享参数但每组具有独立的遗忘门。
• 实现单向和双向变体（CLSTM与B-CLSTM），以评估不同序列建模方向下的性能。
• 通过保持总参数数量与标准LSTM相当，避免分层模型的复杂性，从而维持计算效率。

实验结果

研究问题

• RQ1 具有异构遗忘率的多组记忆机制是否能提升RNN在文档级情感分类中对长距离情感的建模能力？
• RQ2 所提出的CLSTM模型在捕捉长文档中的全局情感模式方面，与标准LSTM及其他先进变体（如CIFG-LSTM）相比表现如何？
• RQ3 该缓存机制是否使模型在长文档上的性能优于依赖固定遗忘率或双向架构的模型？
• RQ4 CLSTM是否能在不使用外部用户或产品信息的情况下实现最先进性能，而这类信息是许多先前模型所依赖的？

主要发现

• 在Yelp 2013数据集上，CLSTM达到59.4%的准确率，优于单向基线LSTM，并接近双向模型的性能。
• 在IMDB数据集上，CLSTM达到45.8%的准确率，显著优于标准LSTM和CIFG-LSTM，且超过依赖额外用户和产品信息的模型。
• 双向变体（B-CLSTM）在Yelp 2014数据集上达到61.0%的准确率，表明其在长而复杂的文档上也表现出色。
• 该模型对文档长度具有鲁棒性，在长文本上仍保持高准确率，且在IMDB数据集的所有长度区间内，B-CLSTM均优于CIFG-BLSTM。
• 在Yelp 2013上，4个记忆组时性能最佳，当组数超过5组时性能下降，原因是个组容量减少。
• B-CLSTM收敛速度优于标准模型和基线模型，归因于多组记忆设计带来的结构化初始化与梯度稳定性。