[論文レビュー] PANAS-t: A Pychometric Scale for Measuring Sentiments on Twitter

Pollyanna Gonçalves, Fabrí­cio Benevenuto+1 more|arXiv (Cornell University)|Aug 8, 2013

Sentiment Analysis and Opinion Mining参考文献 24被引用数 39

ひとこと要約

PANAS-t は、18億件のツイートから得られた正規化スコアを用いて、リアルタイムかつ大規模な公開ムード分析を可能にする、PANAS-x を改変した心理的センチメント尺度である。この尺度は、10件の世界的な出来事（悲劇や政治的出来事など）における予想されるセンチメントの変化を的確に捉え、実世界の応用においても強固で実用的であることを示している。

ABSTRACT

Online social networks have become a major communication platform, where people share their thoughts and opinions about any topic real-time. The short text updates people post in these network contain emotions and moods, which when measured collectively can unveil the public mood at population level and have exciting implications for businesses, governments, and societies. Therefore, there is an urgent need for developing solid methods for accurately measuring moods from large-scale social media data. In this paper, we propose PANAS-t, which measures sentiments from short text updates in Twitter based on a well-established psychometric scale, PANAS (Positive and Negative Affect Schedule). We test the efficacy of PANAS-t over 10 real notable events drawn from 1.8 billion tweets and demonstrate that it can efficiently capture the expected sentiments of a wide variety of issues spanning tragedies, technology releases, political debates, and healthcare.

研究の動機と目的

• 短いフォームのソーシャルメディアテキスト（特に Twitter）における公共のセンチメントを測定する、信頼性が高く心理的妥当性のある手法を開発すること。
• 従来のセンチメントツールがしばしば失敗する、非公式で動的な Twitter の文脈に適応した、確立された PANAS（ポジティブ・ネガティブ・アフェクト・スケール）を改変すること。
• 実証的データに基づく正規化スコアを提供することで、時間的・出来事的変動におけるムードの相対的比較を可能にすること。
• 実世界の出来事における期待されるセンチメントシフトを捉えることの有効性を検証し、生態的妥当性と実用的有用性を保証すること。

提案手法

• 短く非公式なテキストに適したセンチメント語を選び、11項目の PANAS-x スケール（ポジティブ・ネガティブ・アフェクト状態）を Twitter 用に改変する。
• 2006年から2009年までの18億件のツイートからなる大規模データセットを用いて、各11のアフェクト状態のベースライン正規化スコアを計算し、安定したセンチメントベースラインを確立する。
• これらの正規化スコアを用いて、生のセンチメント頻度を相対的アフェクトスコア（P(s)）に変換し、時間的・出来事的比較を可能にする。
• Kiviatチャートを用いて、10件の顕著な実世界の出来事における感情傾向の変化を抽出し、可視化する。
• 一般的な絵文字ベースのベースラインと比較し、異なる期間やデータセットにおける性能を検証する。
• リアルタイムのセンチメント分類を避けるために、事前に計算された正規化に依存することで、スケーラビリティとリアルタイム適用性を確保する。

実験結果

リサーチクエスチョン

• RQ1 PANAS-t は、自然災害、政治的選挙、有名人の死など、世界的な出来事において、期待されるセンチメントの変化を的確に捉えることができるか？
• RQ2 PANAS-t は、感情の微細な変化を捉える点で、単純な絵文字ベースのセンチメント検出と比べてどのように優れているか？
• RQ3 PANAS-t は、元の学習期間（例：2006–2009年）を過ぎたデータ（例：2010年のデータ）に適用しても、どの程度頑健であるか？
• RQ4 PANAS-t は、再トレーニングなしで大規模なソーシャルメディアストリームにおいてリアルタイムのセンチメント分析に信頼性を持って使用できるか？

主な発見

• 2009年の米国大統領選挙では、PANAS-t がポジティブなアフェクトと注意の増加を的確に捉えた。
• 2009年のサモア津波の際、PANAS-t は、恐怖（P(s) = 0.9280）、注意（P(s) = 0.9932）、敵意（P(s) = 0.8451）の著しい上昇を検出しており、一般の感情反応と整合的であった。
• 2010年のハイチ地震後、PANAS-t は、悲しみ（P(s) = 0.3975）、敵意（P(s) = 0.9280）、罪悪感の増加を記録し、世界の共感と苦悩を反映していた。
• この方法は安定性と汎用性を示し、2006–2009年のデータで学習したベースラインを用いて、2010年のツイートからも感情の変化を的確に検出できた。
• PANAS-t は、多様な出来事において、微細な、出来事固有のセンチメントダイナミクスを捉える点で、単純な絵文字ベースのベースラインを上回った。
• 本論文で提供される正規化スコアのおかげで、PANAS-t は任意の Twitter データセットに対して直接的かつスケーラブルにリアルタイムのセンチメント分析に使用可能である。