[論文レビュー] Enhanced Twitter Sentiment Classification Using Contextual Information

Soroush Vosoughi, Helen Zhou+1 more|DSpace@MIT (Massachusetts Institute of Technology)|May 17, 2016

Sentiment Analysis and Opinion Mining参考文献 13被引用数 12

ひとこと要約

本稿では、文脈的メタデータ（時刻、場所、著者、曜日など）を標準的な n-gram 特徴と統合することで、感情分析の精度を向上させるベイジアン感情分類器を提案する。2012年から2014年の間の数百万件の地理タグ付きツイートを、外部の感情リソースを用いて遠隔教師付きで自動的にラベル付けすることで、モデルは86.2%の精度を達成し、ベースラインの n-gram モデル比で相対的に10%の向上を示した。これは、文脈的情報がリソースが限られた短いテキストの感情分析において顕著に性能を向上させることを示している。

ABSTRACT

The rise in popularity and ubiquity of Twitter has made sentiment analysis of tweets an important and well-covered area of research. However, the 140 character limit imposed on tweets makes it hard to use standard linguistic methods for sentiment classification. On the other hand, what tweets lack in structure they make up with sheer volume and rich metadata. This metadata includes geolocation, temporal and author information. We hypothesize that sentiment is dependent on all these contextual factors. Different locations, times and authors have different emotional valences. In this paper, we explored this hypothesis by utilizing distant supervision to collect millions of labelled tweets from different locations, times and authors. We used this data to analyse the variation of tweet sentiments across different authors, times and locations. Once we explored and understood the relationship between these variables and sentiment, we used a Bayesian approach to combine these variables with more standard linguistic features such as n-grams to create a Twitter sentiment classifier. This combined classifier outperforms the purely linguistic classifier, showing that integrating the rich contextual information available on Twitter into sentiment classification is a promising direction of research.

研究の動機と目的

• 標準的な言語的アプローチではしばしば無視される、位置情報、時刻、著者IDなどの文脈的メタデータを統合することで、Twitter の感情分類を改善すること。
• Twitter 上で感情が空間的・時間的・著者的文脈によって体系的に変化するかどうかを調査すること。
• 遠隔教師付き学習を用いて、多様な文脈的カテゴリにおける事前感情確率を推定するスケーラブルでデータ駆動型の手法を開発すること。
• ベイジアン推論を用いて文脈的事前分布と従来の n-gram モデルを統合し、分類の頑健性と精度を向上させること。
• 特にリソースが限られた環境において、最先端の遠隔教師付き分類器と比較して、文脈的モデルの性能を評価すること。

提案手法

• 2012年から2014年の間の数百万件の地理タグ付き、タイムスタンプ付き、著者タグ付きツイートを対象に、外部の感情リソースを用いて遠隔教師付きで感情ラベルを自動付与した。
• ラベル付きツイートの集計された感情スコアを用いて、各文脈カテゴリ（州、時間帯、曜日、月、著者）の事前感情確率を推定した。
• ベイジアンフレームワークを用いて、これらの文脈特化型事前分布と標準的なビグラム言語モデルを統合し、ハイブリッドな感情分類器を構築した。
• 性能のトレーニングと評価には5分割交差検証を用い、各fold間でのデータ漏洩を回避した。
• 季節的または社会経済的要因による感情の時間的変化を反映させるために、定期的に感情事前分布を再計算した。
• 最終的な分類器では、州、時間帯、曜日、月、著者というすべての文脈変数を1つのモデルに統合し、予測力の最大化を図った。

実験結果

リサーチクエスチョン

• RQ1 Twitter 上での感情表現は、地理的場所、時間帯、曜日、月、および個々の著者によって体系的に変化するか？
• RQ2 大規模かつ自動ラベル付けされたデータから導出された文脈特化型感情事前分布は、標準的な n-gram 感情分類器の性能を向上させることができるか？
• RQ3 空間的・時間的・著者ベースのメタデータを統合することで、短くノイズの多い Twitter テキストにおける感情分類の精度はどの程度向上するか？
• RQ4 文脈に配慮したベイジアン分類器の性能は、純粋に言語的特徴に基づくモデルや既存の遠隔教師付きアプローチと比べてどうか？
• RQ5 時刻、著者、その他の利用可能なメタデータに依存することで、地理タグのないツイートに対してもモデルは一般化可能か？

主な発見

• 文脈的分類器は86.2%の精度を達成し、ベースラインのビグラムモデル比で相対的に10%、絶対的に8%の向上を示した。
• 州ベースの事前分布が最も寄与し、単独で使用した場合に84.9%の精度を達成した。これは、地理的場所が感情に強い影響を及ぼしていることを示している。
• 1日の中での時間帯が最も予測力の高い時間的特徴であり、単独で使用した場合に82.1%の精度を達成した。
• 著者ベースの事前分布は82.9%の精度を達成し、個々のユーザーが時間経過とともに安定した感情ベースラインを示していることが示された。
• 州情報が欠落しても、モデルは時刻、著者、時間的メタデータのみで84.3%の精度を達成した。これは、時間的・著者的メタデータのみで高い性能を発揮していることを示している。
• 完全な文脈的モデルは、先行する最良の遠隔教師付き分類器を絶対精度で3ポイント以上上回った。