[论文解读] Assessing Sentiment Strength in Words Prior Polarities

Lorenzo Gatti, Marco Guerini|arXiv (Cornell University)|Dec 18, 2012

Sentiment Analysis and Opinion Mining参考文献 26被引用 40

一句话总结

本文评估了14种从SentiWordNet的词义极性中计算词 prior 情感极性的公式，发现加权平均（尤其是 w2m 和 w1m）在回归与分类任务中均最能逼近人类判断。该研究确立了加权平均为从多义情感资源中推导稳健 prior 极性的最先进方法。

ABSTRACT

Many approaches to sentiment analysis rely on lexica where words are tagged with their prior polarity - i.e. if a word out of context evokes something positive or something negative. In particular, broad-coverage resources like SentiWordNet provide polarities for (almost) every word. Since words can have multiple senses, we address the problem of how to compute the prior polarity of a word starting from the polarity of each sense and returning its polarity strength as an index between -1 and 1. We compare 14 such formulae that appear in the literature, and assess which one best approximates the human judgement of prior polarities, with both regression and classification models.

研究动机与目标

• 确定从SentiWordNet的多义情感得分中计算prior极性的最有效公式。
• 比较14种现有公式的性能，评估其逼近人工标注情感强度的能力。
• 评估回归任务中的性能是否可推广至二元情感分类任务。
• 建立使用SentiWordNet进行prior极性计算的最先进基线。

提出的方法

• 本研究使用ANEW作为人工标注prior极性分数的黄金标准。
• 评估14种将SentiWordNet中的词义级正负得分聚合为单一prior极性分数的公式。
• 回归模型使用平均绝对误差（MAE）评估性能，分类模型使用F1、精确率和召回率。
• 公式包括简单策略（如最常见词义、随机词义）、算术平均、最大值以及加权平均。
• 使用近似随机化检验和p值进行统计显著性检验。
• 分析在回归（情感强度）与二元分类（正面/负面）任务之间的结果对比。

实验结果

研究问题

• RQ1 在回归框架中，哪种公式最能逼近人工标注的prior极性分数？
• RQ2 在回归任务中表现最佳的公式是否在二元情感分类任务中也表现最佳？
• RQ3 如使用最常见词义或随机词义等简单策略，与更复杂的聚合方法相比表现如何？
• RQ4 加权平均与其他聚合策略之间是否存在统计显著差异？
• RQ5 回归任务中的发现是否可推广至情感分析中的分类任务？

主要发现

• 加权平均公式 w2m 在回归任务中实现了最低的平均绝对误差（MAE）0.380，显著优于基线方法如 swnrndd（p<0.01）。
• w1m 公式表现同样出色，MAE 为 0.383，成功率为 32.5%，优于大多数替代方案。
• 使用最常见词义（f s）或随机词义（swrnd）的结果相似且表现较差，与随机选择相比无显著改善，与自然语言处理中的常见假设相矛盾。
• 在二元分类任务中，w2、w1 和均值公式显著优于随机基线（p<0.001）和随机词义基线（p<0.01）。
• w2 公式的 F1 得分为 0.711，表明其在正确识别正面和负面词语方面表现优异。
• 结果证实，加权平均是从小于多义情感资源（如 SentiWordNet）中推导 prior 极性的最稳健且最准确的方法。