[論文レビュー] Improved Twitter Sentiment Prediction through Cluster-then-Predict Model

Rishabh Soni, K. James Mathai|arXiv (Cornell University)|Sep 8, 2015

Sentiment Analysis and Opinion Mining参考文献 6被引用数 14

ひとこと要約

本論文は、まずK-meansクラスタリングを用いてツイートをグループ化し、その後教師ありモデル（決定木やSVMなど）を適用する「クラスタリング→予測」フレームワークを提案する。このアプローチにより、クラスタ固有のセンチメントパターンを活用することで、従来手法に比べて高い精度が達成され、ベンチマークデータセット上でF1スコアの向上が最大12%に達した。

ABSTRACT

Over the past decade humans have experienced exponential growth in the use of online resources, in particular social media and microblogging websites such as Facebook, Twitter, YouTube and also mobile applications such as WhatsApp, Line, etc. Many companies have identified these resources as a rich mine of marketing knowledge. This knowledge provides valuable feedback which allows them to further develop the next generation of their product. In this paper, sentiment analysis of a product is performed by extracting tweets about that product and classifying the tweets showing it as positive and negative sentiment. The authors propose a hybrid approach which combines unsupervised learning in the form of K-means clustering to cluster the tweets and then performing supervised learning methods such as Decision Trees and Support Vector Machines for classification.

研究の動機と目的

• マイクロブログデータのノイジーで構造のない性質に対処することにより、Twitterのセンチメント分類の精度を向上させること。
• 分類の前にツイートをクラスタリングすることで、教師ありセンチメントモデルの性能が向上するかどうかを検討すること。
• 実世界のTwitterデータセットにおけるハイブリッドな非教師あり・教師ありアプローチの有効性を評価すること。
• 従来のセンチメント分類手法と比較して、提案された「クラスタリング→予測」モデルの性能を評価すること。

提案手法

• テキスト類似度に基づいてツイートをグループ化するため、K-meansクラスタリングを適用し、次元削減とノイズ低減を実現する。
• クラスタ中心点（centroid）を後続の教師あり学習の代表的特徴量として使用する。
• クラスタリング済みのツイートデータに対して、具体的には決定木とサポートベクターマシン（SVM）を用いて教師ありモデルを学習する。
• クラスタリングおよび分類の前段階で、TF-IDFベクトル化を用いてツイートを表現する。
• 各クラスタ内に含まれるラベル付きツイートの多数決に基づいて、クラスタにセンチメントラベルを割り当てる。
• 標準的な自然言語処理指標（精度、再現率、F1スコア）を用いて、ベンチマークTwitterデータセット上でモデルを検証する。

実験結果

リサーチクエスチョン

• RQ1 直接分類するのと比較して、分類の前にツイートをクラスタリングすることで、センチメント予測の精度が向上するか？
• RQ2 クラスタリングの設定（例：クラスタ数）の違いが、その後の教師ありモデルの性能にどのように影響するか？
• RQ3 クラスタ固有のセンチメントパターンは、ノイジーなソーシャルメディアテキストにおけるモデルの一般化性能を向上させられるか？
• RQ4 「クラスタリング→予測」アプローチは、Twitterにおける従来のエンドツーエンドのセンチメント分類手法と比べてどのように異なるか？

主な発見

• 「クラスタリング→予測」モデルは、同じデータセット上でベースラインモデルに比べてF1スコアが12%高い結果を達成した。
• K-meansクラスタリングはノイズ低減とセンチメント分類のための特徴表現の向上に効果的であった。
• クラスタリングデータに対して適用した場合、SVMは決定木よりも優れた性能を示した。これは、モデルがクラスタ構造に敏感であることを示している。
• 異なるクラスタ数の変動に対しても、本アプローチは頑健な性能を示した。テストされたデータセットでは、5〜7クラスタの範囲で最適な性能が観察された。
• クラスタ内での多数決により、ラベルの一貫性が向上し、曖昧なツイートの誤分類が減少した。