[论文解读] Contextual and Position-Aware Factorization Machines for Sentiment Classification

Shuai Wang, Mianwei Zhou+3 more|arXiv (Cornell University)|Jan 18, 2018

Sentiment Analysis and Opinion Mining参考文献 21被引用 4

一句话总结

该论文提出上下文感知因子分解机（CFM）与位置感知因子分解机（PFM），通过学习联合编码词语交互、上下文与位置信息的敏感情感词语交互（SWI）向量，显式建模情感导向的词语交互。这些模型在细粒度的片段级情感分类中显著优于当前最先进方法，同时在文档级别也保持了优异性能。

ABSTRACT

While existing machine learning models have achieved great success for sentiment classification, they typically do not explicitly capture sentiment-oriented word interaction, which can lead to poor results for fine-grained analysis at the snippet level (a phrase or sentence). Factorization Machine provides a possible approach to learning element-wise interaction for recommender systems, but they are not directly applicable to our task due to the inability to model contexts and word sequences. In this work, we develop two Position-aware Factorization Machines which consider word interaction, context and position information. Such information is jointly encoded in a set of sentiment-oriented word interaction vectors. Compared to traditional word embeddings, SWI vectors explicitly capture sentiment-oriented word interaction and simplify the parameter learning. Experimental results show that while they have comparable performance with state-of-the-art methods for document-level classification, they benefit the snippet/sentence-level sentiment analysis.

研究动机与目标

• 为解决现有模型在显式捕捉情感导向（SO）词语交互方面的局限性，特别是在上下文稀疏的短文本片段中。
• 提升在片段/句子级别的细粒度情感分析性能，因为单个词语可能无法独立传达情感。
• 通过引入上下文与位置信息，将因子分解机（FM）扩展至自然语言处理任务，而这些信息在传统FM应用中被忽略。
• 通过将词语交互、上下文与位置信息联合编码为统一的情感导向词语交互（SWI）向量，简化参数学习过程。
• 证明显式建模SO词语交互可显著提升低资源、短文本情感分类的性能。

提出的方法

• 提出上下文感知因子分解机（CFM），通过聚焦于与情感表达相关的局部词语交互，在特定上下文中建模情感导向的词语交互。
• 引入位置感知因子分解机（PFM），进一步编码序列中词语的位置信息，增强句法与语义依赖关系的建模能力。
• 学习一组情感敏感的词语交互（SWI）向量，联合表示词语交互、上下文相关性与位置顺序。
• 采用受FM启发的分解机制来建模词语之间的成对交互，但将其扩展以将上下文与位置信息纳入交互学习过程。
• 使用以SWI向量作为特征的线性模型，简化参数学习的同时捕捉复杂的交互模式。
• 在真实世界评论数据集上，将模型应用于文档级别与片段级别的情感分类任务。

实验结果

研究问题

• RQ1 显式建模情感导向词语交互是否能提升片段级别细粒度情感分析的性能？
• RQ2 在情感分类任务中，引入上下文与位置信息如何影响因子分解机的性能？
• RQ3 SWI向量是否能有效捕捉词语交互、上下文与位置的联合表征，并在短文本情感分析中超越传统词嵌入与神经网络模型？
• RQ4 所提出的CFM与PFM框架在片段级别显著提升性能的同时，是否在文档级别仍保持强大性能？
• RQ5 所提模型在完整文档与短片段情感分类任务中，与当前最先进神经网络与线性模型相比，性能如何？

主要发现

• CFM与PFM在三个真实世界数据集的片段级别情感分类中显著优于所有基线模型，证明了显式建模情感导向词语交互的有效性。
• 尽管参数化更简单且向量维度更小，模型在文档级别性能与SOTA方法（如CNN-S与CNN-J）相当。
• PFM在所有数据集中均持续优于FM，表明上下文与位置感知对短文本中准确情感分析至关重要。
• 即使向量尺寸较小（如50维），CFM与PFM在片段级别仍优于更大尺寸的CNN模型（300维向量），表明SWI向量具有高效性与强大的表征能力。
• 基于CNN的模型与所提模型之间的性能差距在片段级别最为显著，证实SO词语交互是现有神经网络模型中的关键瓶颈。
• 使用SWI特征的线性模型（如线性SVM）取得最佳结果，表明SWI表征极为高效，且特别适合线性分类器。