[论文解读] Article citation study: Context enhanced citation sentiment detection

Vishal Vyas, Kumar Ravi+4 more|arXiv (Cornell University)|May 10, 2020

Topic Modeling参考文献 28被引用 4

一句话总结

本文提出了一种基于词嵌入、词性标注和依存解析的集成特征的上下文增强型引用情感检测方法，以提升学术引用中的情感分类性能。实验表明，深度学习模型在大规模数据集上优于传统的词袋模型，而支持向量机在小规模数据集上表现更优，且上下文感知样本在八个经过人工标注的数据集（含三种情感类别）上显著优于上下文无关方法。

ABSTRACT

Citation sentimet analysis is one of the little studied tasks for scientometric analysis. For citation analysis, we developed eight datasets comprising citation sentences, which are manually annotated by us into three sentiment polarities viz. positive, negative, and neutral. Among eight datasets, three were developed by considering the whole context of citations. Furthermore, we proposed an ensembled feature engineering method comprising word embeddings obtained for texts, parts-of-speech tags, and dependency relationships together. Ensembled features were considered as input to deep learning based approaches for citation sentiment classification, which is in turn compared with Bag-of-Words approach. Experimental results demonstrate that deep learning is useful for higher number of samples, whereas support vector machine is the winner for smaller number of samples. Moreover, context-based samples are proved to be more effective than context-less samples for citation sentiment analysis.

研究动机与目标

• 为解决科学计量研究中引用情感分析这一尚未充分探索的任务。
• 构建八个经过人工标注的引用情感数据集，包含三种情感极性：正面、负面和中性。
• 研究上下文信息对引用情感分类性能的影响。
• 对比深度学习与传统机器学习方法（如SVM）在引用情感分类中的表现。
• 评估结合词嵌入、词性标注和依存解析的集成特征的有效性。

提出的方法

• 作者构建了八个引用情感数据集，其中三个数据集使用了完整的上下文信息进行标注。
• 提取了结合预训练词嵌入、词性（POS）标签和依存解析关系的集成特征。
• 将这些特征作为输入，用于深度学习模型（如BiLSTM、CNN），并与词袋模型基线进行比较。
• 情感分类任务采用深度学习和传统机器学习模型（如SVM）进行训练与评估。
• 研究采用对比评估框架，以评估在不同数据集规模和上下文可用性下的性能表现。
• 最终的模型架构结合了多种语言学特征，以增强引用情感的表征学习能力。

实验结果

研究问题

• RQ1 上下文信息的引入在多大程度上影响引用情感分类的性能？
• RQ2 在不同数据集规模下，深度学习与传统模型（如SVM）在引用情感分类中的表现孰优孰劣？
• RQ3 结合词嵌入、词性标注和依存解析的集成特征在多大程度上提升了分类准确率？
• RQ4 深度学习与SVM模型在引用情感分析中，其性能特征如何随训练样本数量的变化而变化？
• RQ5 在情感分类中，上下文增强型样本与上下文无关样本的相对有效性如何？

主要发现

• 深度学习模型在大规模引用数据集上的表现优于词袋模型基线。
• 支持向量机在小规模引用数据集上优于深度学习模型，表明存在样本量依赖的性能权衡。
• 上下文增强型引用样本显著提升了分类准确率，优于上下文无关样本，证明了上下文文本在情感判断中的重要性。
• 集成特征方法（结合词嵌入、词性标注和依存解析）促进了更好的表征学习，提升了情感分类性能。
• 所提出的方法在人工标注数据集上取得了更高的F1分数，尤其在使用完整引用上下文时表现更优。
• 研究证实，当适当地引入上下文信息后，引用情感分析是科学计量学和数字图书馆应用中可行且有价值的任务。