[論文レビュー] Sentiment Analysis: How to Derive Prior Polarities from SentiWordNet

Marco Guerini, Lorenzo Gatti+1 more|arXiv (Cornell University)|Sep 23, 2013

Sentiment Analysis and Opinion Mining被引用数 44

ひとこと要約

本稿では、SentiWordNetの複数の後向き確率から前向き確率への変換式を統合する学習ベースのフレームワークを提案し、感情分析における前向き確率推定の精度を向上させる。SentiWordNet3を用いた特徴選択付きSVMを用いることで、回帰および分類の両タスクで最先端の性能を達成し、個々の変換式を上回り、品詞およびアノテーターの性別に関連する顕著なバイアスを明らかにした。

ABSTRACT

Assigning a positive or negative score to a word out of context (i.e. a word's prior polarity) is a challenging task for sentiment analysis. In the literature, various approaches based on SentiWordNet have been proposed. In this paper, we compare the most often used techniques together with newly proposed ones and incorporate all of them in a learning framework to see whether blending them can further improve the estimation of prior polarity scores. Using two different versions of SentiWordNet and testing regression and classification models across tasks and datasets, our learning approach consistently outperforms the single metrics, providing a new state-of-the-art approach in computing words' prior polarity for sentiment analysis. We conclude our investigation showing interesting biases in calculated prior polarity scores when word Part of Speech and annotator gender are considered.

研究の動機と目的

• SentiWordNetの感覚レベル（後向き）確率スコアから単語レベル（前向き）確率スコアを正確に導出する課題に対処すること。
• SentiWordNet3における30の既存および新たに同定された変換式の性能を評価・比較すること。
• 複数の変換式を機械学習で統合することで、個々の手法を上回る前向き確率推定が可能かどうかを検証すること。
• 語の品詞（PoS）およびアノテーターの性別が、前向き確率予測の精度に与える影響を調査すること。

提案手法

• 本研究では、SentiWordNetの感覚レベル（後向き）確率スコアを単語レベル（前向き）確率スコアに変換する30種類の異なる式を評価した。
• 回帰および二値分類タスクを用いて各式の性能を評価し、平均絶対誤差（MAE）および正答率を評価指標とした。
• 学習フレームワークは、式のスコアを特徴量として用い、SVMと再帰的特徴選択（SVMfs）、ガウス過程（GPs）、ロジスティック回帰を用いて最適な重みを学習した。
• フレームワークは、ANEWおよびGeneral Inquirerの2つのゴールドスタンダードデータセットを用い、SWN1およびSWN3の両バージョンで訓練およびテストした。
• 最も優れた性能を示したモデルは、SWN3を用いたSVMと特徴選択（SVMfs）であり、最も高い正答率と最小のMAEを達成した。
• 線形および径数カーネル関数を評価したが、SVMでは径数カーネルが好まれ、GPsでは線形カーネルが最適であった。

実験結果

リサーチクエスチョン

• RQ1 異なる後向き→前向き確率変換式は、データセットやタスク（回帰および分類）によって顕著に異なる性能を示すか？
• RQ2 SentiWordNetのバージョン（SWN1 対 SWN3）の選択が、前向き確率推定の性能に顕著に影響を与えるか？
• RQ3 複数の式を統合する学習フレームワークが、最も優れた個別手法を上回る前向き確率推定を可能にするか？
• RQ4 語の品詞（例：形容詞、名詞、動詞）ごとに性能に顕著な差が生じるか？
• RQ5 アノテーターの性別（男性対女性）および感情極性（肯定的対否定的）を考慮した場合、前向き確率推定に顕著な差が生じるか？

主な発見

• SentiWordNet3を用いたSVMと特徴選択（SVMfs）アプローチが最も優れた性能を示し、前向き確率推定において新たな最先端水準を確立した。
• 最も優れた式（best_f）は、男性の ANEW 評価では平均絶対誤差（MAE）が 0.323、女性の評価では 0.392 を記録し、その差は統計的に有意（p < 0.001）であった。
• 分類タスクにおいて、SVMfsモデルは形容詞で82.9%、名詞で78.4%、動詞で78.2%の正答率を達成し、形容詞の正答率が顕著に高く（p < 0.01）なった。
• 否定的語に関しては、女性アノテーターのMAEが0.399であり、男性アノテーターの0.301よりも顕著に高い（p値 < 0.001）。
• 学習フレームワークは、個々の式を常に上回り、特徴選択により最悪の性能を示した式即ち、多様な視点の価値を確認した。
• 結果から、体系的なバイアスが明らかになった：SentiWordNetから導かれる前向き確率は、女性のANEW評価よりも男性のANEW評価に顕著に近い傾向にあり、基礎となる語彙リソースに性別による偏りがあることが示唆された。