[論文レビュー] Assessing Sentiment Strength in Words Prior Polarities

Lorenzo Gatti, Marco Guerini|arXiv (Cornell University)|Dec 18, 2012

Sentiment Analysis and Opinion Mining参考文献 26被引用数 40

ひとこと要約

この論文は、SentiWordNetの意味レベル極性から単語の事前感情極性を計算するための14の式を評価し、加重平均（特にw2mおよびw1m）が回帰および分類タスクの両方で人間の判断に最もよく近づくことを発見した。本研究は、多義的センチメントリソースから強固な事前極性を導出するための加重平均を、最先端の手法として確立した。

ABSTRACT

Many approaches to sentiment analysis rely on lexica where words are tagged with their prior polarity - i.e. if a word out of context evokes something positive or something negative. In particular, broad-coverage resources like SentiWordNet provide polarities for (almost) every word. Since words can have multiple senses, we address the problem of how to compute the prior polarity of a word starting from the polarity of each sense and returning its polarity strength as an index between -1 and 1. We compare 14 such formulae that appear in the literature, and assess which one best approximates the human judgement of prior polarities, with both regression and classification models.

研究の動機と目的

• SentiWordNetの多義的センチメントスコアから事前極性を計算するための最も効果的な式を特定すること。
• 人間がアノテートした感情強度を近似する能力の観点から、14の既存の式を比較すること。
• 回帰タスクにおける性能が、2値感情分類タスクに一般化されるかどうかを評価すること。
• SentiWordNetを用いた事前極性計算のための最先端のベースラインを確立すること。

提案手法

• 研究では、人間がアノテートした事前極性スコアのゴールドスタンダードとして、ANEWを用いた。
• SentiWordNetの意味レベルの肯定的・否定的スコアを統合して単一の事前極性スコアにまとめる14の式を評価した。
• 回帰モデルでは平均絶対誤差（MAE）を、分類モデルではF1スコア、適合率、再現率を用いて性能を評価した。
• 式には、単純な戦略（例：最も頻出する意味、ランダムな意味）、算術平均、最大値、加重平均が含まれる。
• 統計的有意性は近似ランダム化検定およびp値を用いて検証した。
• 分析では、回帰（感情強度）および2値分類（肯定／否定）の両方のタスクにおける結果を比較した。

実験結果

リサーチクエスチョン

• RQ1 回帰フレームワークにおいて、どの式が人間がアノテートした事前極性スコアに最もよく近づくか？
• RQ2 回帰タスクで最も優れた性能を示した式が、2値感情分類タスクでも最良の性能を示すか？
• RQ3 最も頻出する意味やランダムな意味を使用するような単純な戦略は、より複雑な集約手法と比べてどうか？
• RQ4 加重平均と他の集約戦略との間で、性能に統計的に有意な差があるか？
• RQ5 回帰からの発見が、感情分析の分類タスクに一般化可能か？

主な発見

• 加重平均式w2mは、回帰タスクでMAE 0.380を達成し、swnrnddなどのベースライン手法よりも顕著に優れていた（p<0.01）。
• w1m式も強く、MAE 0.383および32.5%の正解率を示し、大多数の代替手法を上回った。
• 最も頻出する意味（f s）やランダムな意味（swrnd）を使用した場合、ランダム選択よりも顕著な改善がなく、NLP分野の一般的な仮定に反した。
• 2値分類タスクでは、w2、w1、および平均式が、ランダムベースライン（p<0.001）およびランダム意味ベースライン（p<0.01）を顕著に上回った。
• w2式のF1スコアは0.711であり、肯定的・否定的語の正しく特定する能力が強いことを示した。
• 結果から、加重平均がSentiWordNetのような多義的センチメントリソースから事前極性を導出するうえで、最も強固で正確な手法であることが確認された。