[论文解读] Leveraging Sentiment to Compute Word Similarity

A. Balamurali, Subhabrata Mukherjee+2 more|arXiv (Cornell University)|Sep 11, 2012

Sentiment Analysis and Opinion Mining参考文献 19被引用 3

一句话总结

本文提出 SenSim，一种基于 WordNet 的新颖相似度度量方法，通过将词语表示为 WordNet 词义释义中的情感得分向量，再计算余弦相似度，整合情感信息。该方法通过利用情感上下文，提升了标注者的一致性，并在内在和外在评估中均优于现有度量方法。

ABSTRACT

In this paper, we introduce a new WordNet based similarity metric, SenSim, which incorporates sentiment content (i.e., degree of positive or negative sentiment) of the words being compared to measure the similarity between them. The proposed metric is based on the hypothesis that knowing the sentiment is beneficial in measuring the similarity. To verify this hypothesis, we measure and compare the annotator agreement for 2 annotation strategies: 1) sentiment information of a pair of words is considered while annotating and 2) sentiment information of a pair of words is not considered while annotating. Inter-annotator correlation scores show that the agreement is better when the two annotators consider sentiment information while assigning a similarity score to a pair of words. We use this hypothesis to measure the similarity between a pair of words. Specifically, we represent each word as a vector containing sentiment scores of all the content words in the WordNet gloss of the sense of that word. These sentiment scores are derived from a sentiment lexicon. We then measure the cosine similarity between the two vectors. We perform both intrinsic and extrinsic evaluation of SenSim and compare the performance with other widely usedWordNet similarity metrics.

研究动机与目标

• 探究在基于 WordNet 的相似度度量中，整合情感信息是否能提升词语相似度的测量效果。
• 解决传统相似度度量方法忽略词语定义中情感内容的局限性。
• 通过将情感作为相似度标注中的一个因素，提升标注者之间的一致性。
• 利用情感词典对 WordNet 释义进行处理，构建情感感知的词语向量表示。
• 在内在和外在任务中，将所提出的度量方法 SenSim 与现有 WordNet 相似度度量方法进行对比评估。

提出的方法

• 每个词语被表示为一个向量，其中每个维度对应其 WordNet 词义释义中内容词的情感得分。
• 情感得分通过将预存在的情感词典应用于释义中的所有内容词而获得。
• 通过计算两个词语的情感向量之间的余弦相似度，确定其相似度。
• 该方法假设：在定义中具有相似情感特征的词语，其语义相似度更高。
• 在标注过程中，分别在考虑和不考虑情感信息的两种条件下，测量标注者的一致性。
• 通过内在基准（如词语相似度数据集）和外在任务（如下游 NLP 应用）对度量方法进行评估。

实验结果

研究问题

• RQ1 在相似度标注过程中考虑情感信息，是否能提升标注者之间的一致性？
• RQ2 从 WordNet 释义中提取的情感得分，是否能提升词语相似度的计算效果？
• RQ3 在内在评估中，SenSim 与现有基于 WordNet 的相似度度量方法相比表现如何？
• RQ4 与基线度量方法相比，SenSim 在外在任务中的表现如何？
• RQ5 情感内容的整合是否是提升词语相似度度量效果的关键因素？

主要发现

• 在相似度标注过程中考虑情感信息后，标注者之间的一致性显著提高。
• 在内在评估中，所提出的 SenSim 度量方法性能优于基线的 WordNet 相似度度量方法。
• 由于在词语定义中引入了情感上下文，SenSim 在相似度判断中表现出更高的稳定性。
• 从释义中提取的情感得分提升了向量表示的质量，有利于相似度计算。
• 该方法在不同评估设置中表现出鲁棒性，显示出其在真实世界 NLP 应用中的潜力。
• 结果验证了假设：情感内容对词语相似度评估具有实质性贡献。