[论文解读] Sentiment Analysis: How to Derive Prior Polarities from SentiWordNet

Marco Guerini, Lorenzo Gatti+1 more|arXiv (Cornell University)|Sep 23, 2013

Sentiment Analysis and Opinion Mining被引用 44

一句话总结

本文提出一种基于学习的框架，融合来自 SentiWordNet 的多种后验到先验极性公式，以改进情感分析中的先验极性估计。在 SWN3 上使用带特征选择的 SVM，该方法在回归和分类任务中均达到最先进性能，优于单一公式，并揭示了与词性及标注者性别相关的显著偏差。

ABSTRACT

Assigning a positive or negative score to a word out of context (i.e. a word's prior polarity) is a challenging task for sentiment analysis. In the literature, various approaches based on SentiWordNet have been proposed. In this paper, we compare the most often used techniques together with newly proposed ones and incorporate all of them in a learning framework to see whether blending them can further improve the estimation of prior polarity scores. Using two different versions of SentiWordNet and testing regression and classification models across tasks and datasets, our learning approach consistently outperforms the single metrics, providing a new state-of-the-art approach in computing words' prior polarity for sentiment analysis. We conclude our investigation showing interesting biases in calculated prior polarity scores when word Part of Speech and annotator gender are considered.

研究动机与目标

• 解决从 SentiWordNet 的后验极性得分中推导准确先验极性得分的挑战，涵盖不同词义。
• 评估并比较 30 种现有及新识别的后验到先验极性转换公式的性能。
• 探究通过机器学习组合这些公式是否能获得优于任一单一方法的先验极性估计。
• 考察词性（PoS）和标注者性别对先验极性预测准确率的影响。

提出的方法

• 该研究评估了 30 种将 SentiWordNet 的词义级（后验）极性得分转换为词级（先验）极性得分的公式。
• 使用回归和二分类任务评估各公式的性能，以平均绝对误差（MAE）和准确率作为评估指标。
• 学习框架将公式得分作为特征，使用带递归特征消除的 SVM（SVMfs）、高斯过程（GPs）和逻辑回归来学习最优组合权重。
• 该框架在两个标准基准数据集（ANEW 和 General Inquirer）上进行训练和测试，使用 SWN1 和 SWN3 两个版本。
• 表现最佳的模型为在 SWN3 上使用特征选择的 SVM，实现了最高准确率和最低 MAE。
• 评估了线性核函数和径向基核函数，SVM 偏好径向核，而 GPs 最优使用线性核。

实验结果

研究问题

• RQ1 不同后验到先验极性公式在不同数据集和任务（回归与分类）中的表现是否存在显著差异？
• RQ2 SentiWordNet 版本选择（SWN1 与 SWN3）是否显著影响先验极性估计性能？
• RQ3 能否通过学习框架组合多种公式，使先验极性估计优于表现最好的单一公式？
• RQ4 性能在不同词性（如形容词、名词、动词）之间是否存在显著差异？
• RQ5 在考虑标注者性别（男性与女性）和情感极性（正面与负面）时，先验极性估计是否存在显著差异？

主要发现

• 在 SWN3 上使用特征选择的 SVM（SVMfs）方法表现最佳，为先验极性估计设立了新的最先进水平。
• 表现最佳的公式（best_f）在男性 ANEW 评分上的平均绝对误差（MAE）为 0.323，在女性评分上为 0.392，差异具有统计显著性（p < 0.001）。
• 在分类任务中，SVMfs 模型在形容词上达到 82.9% 的准确率，名词为 78.4%，动词为 78.2%，其中形容词的准确率显著更高（p < 0.01）。
• 女性标注者对负面词的 MAE 显著高于男性标注者（0.399 vs. 0.301），p 值 < 0.001。
• 学习框架始终优于单一公式，特征选择识别出即使表现最差的公式也具有贡献，证实了多元视角的价值。
• 结果揭示出系统性偏差：SentiWordNet 衍生的先验极性得分与男性 ANEW 评分更接近，而非女性评分，表明底层词典存在性别偏向。