[論文レビュー] Leveraging Sentiment to Compute Word Similarity

A. Balamurali, Subhabrata Mukherjee+2 more|arXiv (Cornell University)|Sep 11, 2012

Sentiment Analysis and Opinion Mining参考文献 19被引用数 3

ひとこと要約

本稿では、WordNetの意味素の説明文から感情スコアのベクトルとして単語を表現し、コサイン類似度を計算することで、感情情報を統合した新しいWordNetベースの類似度メトリクス、SenSimを提案する。この手法は、感情の文脈を活用することで、アノテーター間一致度を向上させ、内在的・外在的評価の両方で既存のメトリクスを上回る性能を発揮する。

ABSTRACT

In this paper, we introduce a new WordNet based similarity metric, SenSim, which incorporates sentiment content (i.e., degree of positive or negative sentiment) of the words being compared to measure the similarity between them. The proposed metric is based on the hypothesis that knowing the sentiment is beneficial in measuring the similarity. To verify this hypothesis, we measure and compare the annotator agreement for 2 annotation strategies: 1) sentiment information of a pair of words is considered while annotating and 2) sentiment information of a pair of words is not considered while annotating. Inter-annotator correlation scores show that the agreement is better when the two annotators consider sentiment information while assigning a similarity score to a pair of words. We use this hypothesis to measure the similarity between a pair of words. Specifically, we represent each word as a vector containing sentiment scores of all the content words in the WordNet gloss of the sense of that word. These sentiment scores are derived from a sentiment lexicon. We then measure the cosine similarity between the two vectors. We perform both intrinsic and extrinsic evaluation of SenSim and compare the performance with other widely usedWordNet similarity metrics.

研究の動機と目的

• 感情情報を統合することで、WordNetベースの類似度測定が向上するかどうかを調査すること。
• 従来の類似度メトリクスが語の定義に含まれる感情的コンテンツを無視するという限界を是正すること。
• 類似度ラベル付けに感情を要因として組み込むことで、アノテーター間一致度を向上させること。
• WordNetの説明文に感情リソースを適用することで、感情に敏感な単語のベクトル表現を開発すること。
• 提案されたメトリクス、SenSimを、内在的および外在的タスクにおいて、既存のWordNet類似度測定手法と比較して評価すること。

提案手法

• 各単語は、そのWordNet意味素の説明文に含まれる内容語ごとの感情スコアに対応する次元を持つベクトルとして表現される。
• 感情スコアは、説明文に含まれるすべての内容語に事前に用意された感情リソースを適用して得られる。
• 2つの単語の感情ベクトル間のコサイン類似度を計算して類似度を決定する。
• 本手法は、定義における感情プロファイルが類似する単語同士が、より意味的に類似していると仮定している。
• ラベル付け時に感情を考慮するか否かの2条件で、アノテーター間一致度を測定する。
• 本メトリクスは、内在的ベンチマーク（例：類似度データセット）と外在的タスク（例：下流のNLP応用）の両方で評価される。

実験結果

リサーチクエスチョン

• RQ1 類似度ラベル付け時に感情情報を考慮することで、アノテーター間一致度が向上するか？
• RQ2 WordNetの説明文から抽出した感情スコアは、単語類似度の計算を改善できるか？
• RQ3 SenSimは、既存のWordNetベースの類似度メトリクスと比較して、内在的評価でどのように性能を発揮するか？
• RQ4 SenSimは、ベースラインメトリクスと比較して、外在的タスクでどの程度の性能を示すか？
• RQ5 感情コンテンツの統合は、単語類似度測定の向上に顕著な要因となっているか？

主な発見

• 類似度ラベル付け時に感情情報を考慮することで、アノテーター間一致度が顕著に向上する。
• 提案されたSenSimメトリクスは、内在的評価においてベースラインのWordNet類似度メトリクスを上回る性能を発揮する。
• 単語定義における感情文脈の組み込みにより、類似度判断の一貫性が向上する。
• 説明文からの感情スコアの使用は、類似度計算のためのベクトル表現の質を向上させる。
• 異なる評価設定においても本手法は頑健であることが示され、実世界のNLP応用への可能性を示している。
• 結果は、感情コンテンツが単語類似度評価に意味的に寄与することを裏付ける。