[论文解读] Cold-Start Aware User and Product Attention for Sentiment Classification

Reinald Kim Amplayo, Jihyeok Kim+2 more|arXiv (Cornell University)|Jun 14, 2018

Sentiment Analysis and Opinion Mining被引用 3

一句话总结

本文提出了一种轻量级模型——混合上下文情感分类器（HCSC），通过一种新颖的冷启动感知注意力（CSAA）机制，整合用户和产品信息以提升情感分类性能。CSAA利用频率引导门控机制，动态选择用户/产品特定向量与来自相似实体的共享向量，显著优于先前模型，尤其在数据稀疏情况下表现突出，同时训练时间最多减少10.7倍。

ABSTRACT

The use of user/product information in sentiment analysis is important, especially for cold-start users/products, whose number of reviews are very limited. However, current models do not deal with the cold-start problem which is typical in review websites. In this paper, we present Hybrid Contextualized Sentiment Classifier (HCSC), which contains two modules: (1) a fast word encoder that returns word vectors embedded with short and long range dependency features; and (2) Cold-Start Aware Attention (CSAA), an attention mechanism that considers the existence of cold-start problem when attentively pooling the encoded word vectors. HCSC introduces shared vectors that are constructed from similar users/products, and are used when the original distinct vectors do not have sufficient information (i.e. cold-start). This is decided by a frequency-guided selective gate vector. Our experiments show that in terms of RMSE, HCSC performs significantly better when compared with on famous datasets, despite having less complexity, and thus can be trained much faster. More importantly, our model performs significantly better than previous models when the training data is sparse and has cold-start problems.

研究动机与目标

• 为解决情感分类中的冷启动问题，即用户或产品评论数量少、训练数据不足的情况。
• 通过在缺乏足够信息时利用相似用户或产品的共享表示，提升稀疏数据集上的模型性能。
• 设计一种轻量级、训练速度快的模型，在不牺牲效率的前提下保持高精度。
• 通过频率引导门控机制显式建模冷启动与非冷启动实体之间的差异。
• 证明结合用户和产品上下文并考虑数据稀疏性，可带来显著的性能提升。

提出的方法

• HCSC采用快速的混合上下文词嵌入编码器，能够捕捉词表示中的短距离与长距离依赖关系。
• 提出冷启动感知注意力（CSAA），其包含三个组成部分：特定用户/产品的向量、来自相似用户/产品的共享向量，以及频率引导的选择门控。
• 频率引导门控决定使用特定向量（针对高频用户/产品）还是共享向量（针对低频、冷启动实体）。
• 共享向量基于属性相似度计算，从相似用户或产品的嵌入中聚合生成，实现在低数据场景下的知识迁移。
• 模型采用单层BiLSTM或CNN，而非堆叠的LSTM，从而在保持性能的同时显著减少训练时间。
• 对最终编码表示应用注意力池化，门控机制控制特定向量与共享向量的贡献权重。

实验结果

研究问题

• RQ1 当数据稀疏或用户/产品评论数量较少时，如何有效利用用户和产品信息进行情感分类？
• RQ2 与朴素集成用户/产品特征的方法相比，频率引导门控机制在冷启动用户和产品上的性能提升程度如何？
• RQ3 轻量级注意力机制是否能在准确率与训练速度上超越复杂的深层架构（如分层LSTM）？
• RQ4 模型在不同数据稀疏性与冷启动普遍性水平的数据集上的表现如何变化？
• RQ5 应如何确定用户或产品被视为冷启动的最优阈值？模型如何自适应地响应这一判断？

主要发现

• 在IMDB和Yelp 2013数据集上，HCSC的RMSE显著优于先前SOTA模型NSC，即使模型复杂度更低。
• 在稀疏数据集上，HCSC相比竞争模型展现出显著的性能提升，证实其在处理冷启动场景中的有效性。
• 由于采用单层BiLSTM而非堆叠LSTM，HCSC在Yelp 2013数据集上的训练时间相比NSC最多减少10.7倍。
• Weibull累积分布分析表明，用户约需~5条评论即可被视为非冷启动，而产品则需约~40条评论，才能以类似置信度使用其特定向量。
• 注意力与门控值的可视化结果表明，HCSC能正确地在冷启动用户和产品上切换至共享向量，并将注意力聚焦于相关情感词汇，如'fresh'和'enjoyed'。
• 模型表明共享向量具有语义意义，因为其与非冷启动实体的特定向量高度接近，验证了知识迁移机制的有效性。