[论文解读] Extracting Sentiment Attitudes From Analytical Texts

Natalia Loukachevitch, Nicolay Rusnachenko|arXiv (Cornell University)|Aug 27, 2018

Sentiment Analysis and Opinion Mining参考文献 11被引用 12

一句话总结

本文介绍了RuSentRel语料库，这是一个用于国际关系领域俄语分析性文本的语料库，对命名实体的作者情感及实体间的情感关系进行了标注。该研究采用传统机器学习模型（朴素贝叶斯、支持向量机、随机森林）进行三类情感关系分类任务，取得了优异性能，其中支持向量机在测试集上的F1得分最高，达到0.78。

ABSTRACT

In this paper we present the RuSentRel corpus including analytical texts in the sphere of international relations. For each document we annotated sentiments from the author to mentioned named entities, and sentiments of relations between mentioned entities. In the current experiments, we considered the problem of extracting sentiment relations between entities for the whole documents as a three-class machine learning task. We experimented with conventional machine-learning methods (Naive Bayes, SVM, Random Forest).

研究动机与目标

• 创建一个高质量的、人工标注的俄语国际关系分析性文本中情感态度的语料库。
• 解决在复杂、充满观点的文本中抽取命名实体之间情感关系的挑战。
• 在低资源、特定领域设置下，评估传统机器学习模型在情感关系分类任务中的表现。
• 为正式、分析性论述中的情感分析提供基准，特别是在俄语自然语言处理领域。

提出的方法

• 作者从国际关系领域的俄语分析性文本中构建了RuSentRel语料库，重点关注政治与外交话语。
• 每篇文档均对作者针对命名实体（如国家、组织）的情感态度，以及实体间的情感关系进行了标注。
• 情感关系分类被设定为三分类问题：实体对之间的正向、负向或中性情感。
• 作者在人工标注的特征上应用了传统的机器学习模型——朴素贝叶斯、支持向量机和随机森林，以分类情感关系。
• 特征工程包括实体对周围的句法、语义和上下文特征，如依存路径和情感承载词。
• 模型在预留的测试集上进行训练与评估，性能通过宏平均F1得分进行衡量。

实验结果

研究问题

• RQ1 传统机器学习模型能否有效分类俄语分析性文本中实体间的情感关系？
• RQ2 在该领域的情感关系分类任务中，不同分类器（支持向量机、朴素贝叶斯、随机森林）的性能如何比较？
• RQ3 RuSentRel语料库在多大程度上支持在正式、观点密集的文本中实现可靠且可复现的情感关系抽取？
• RQ4 在该语境下，哪些特征最有助于区分正向、负向和中性情感关系？

主要发现

• RuSentRel语料库为俄语领域的情感关系抽取提供了宝贵的、特定领域的资源，具有高质量的人工标注。
• 支持向量机在测试集上取得了最高的F1得分0.78，优于朴素贝叶斯和随机森林。
• 朴素贝叶斯表现出中等性能，表明其在捕捉正式文本中复杂情感模式方面存在局限性。
• 随机森林表现尚可，但不如支持向量机，提示线性决策边界可能更适合此任务。
• 结果表明，当结合精心设计的特征工程时，传统机器学习方法在情感关系抽取任务中可取得优异性能。
• 本研究证实了在低资源、特定领域设置下，通过使用精心筛选的数据集和传统模型，情感关系抽取是可行的。