[論文レビュー] Efficient Twitter Sentiment Classification using Subjective Distant Supervision

Tapan Sahni, Chinmay Chandak+2 more|arXiv (Cornell University)|Jan 11, 2017

Sentiment Analysis and Opinion Mining参考文献 10被引用数 6

ひとこと要約

本稿では、感情分析の高速化と精度向上を図るために、主観性に基づくフィルタリング手法と有効語スコア（EFWS）ヒューリスティックを組み合わせた手法を提案する。主に主観的なツイートのみを選別し、頻出語の極性スコアを活用することで、10万件のツイートデータセット上で約85%の精度を達成した。これはベースラインのデータサイズの半分であり、トレーニング時間は最大2倍速くなり、精度と速度の両面で最先端のモデルを上回った。

ABSTRACT

As microblogging services like Twitter are becoming more and more influential in today's globalised world, its facets like sentiment analysis are being extensively studied. We are no longer constrained by our own opinion. Others opinions and sentiments play a huge role in shaping our perspective. In this paper, we build on previous works on Twitter sentiment analysis using Distant Supervision. The existing approach requires huge computation resource for analysing large number of tweets. In this paper, we propose techniques to speed up the computation process for sentiment analysis. We use tweet subjectivity to select the right training samples. We also introduce the concept of EFWS (Effective Word Score) of a tweet that is derived from polarity scores of frequently used words, which is an additional heuristic that can be used to speed up the sentiment classification with standard machine learning algorithms. We performed our experiments using 1.6 million tweets. Experimental evaluations show that our proposed technique is more efficient and has higher accuracy compared to previously proposed methods. We achieve overall accuracies of around 80% (EFWS heuristic gives an accuracy around 85%) on a training dataset of 100K tweets, which is half the size of the dataset used for the baseline model. The accuracy of our proposed model is 2-3% higher than the baseline model, and the model effectively trains at twice the speed of the baseline model.

研究の動機と目的

• 大規模なツイッター感情分析モデルをトレーニングする際の高い計算コストを軽減すること。
• 計算リソースが限られた環境でも分類精度を向上させること。
• モデルの性能を損なわずにトレーニング時間を短縮すること。
• データサンプリングにおいて、ツイートの主観性を感情関連性の代理指標として用いることの有効性を検討すること。
• 一般的な語の極性スコアを活用する新しいEFWSヒューリスティックを導入し、精度を向上させること。

提案手法

• TextBlobおよびOpinionFinderツールを用いて得られる主観性閾値を基に、トレーニング用ツイートをフィルタリングし、主に主観的なコンテンツのみを保持する。
• 主観性レベルをヒューリスティックとして活用し、感情表現が強いツイートを優先することで、ノイズを低減し、特徴の関連性を向上させる。
• 頻出語の極性スコアに基づいて、ツイートの有効語スコア（EFWS）を計算し、高速でルールベースの感情分類器として機能させる。
• ナイーブベイズ、SVM、ロジスティック回帰などの標準的な機械学習モデルに適用する前に、EFWSを事前フィルタリングステップとして統合する。
• 多様なツイート表現にわたるモデルの頑健性と一般化性能を向上させるために、広範な前処理を実施する。
• 160万件のツイートを用いたベースラインの遠隔監視モデルと比較し、10万件のトレーニングデータおよび5,000件のテストデータを用いた評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 主観性に基づいたツイートフィルタリングが、トレーニング時間の短縮と同時に感情分類の精度向上をもたらすか？
• RQ2 EFWSヒューリスティックの導入が、感情分類モデル全体の精度にどのように影響するか？
• RQ3 データサイズの削減とモデル性能の両立を図る最適な主観性閾値は何か？
• RQ4 より小さな、主観性でフィルタリングされたデータセットが、より大きな未フィルターベースラインよりも、速度と精度の両面で優れているか？
• RQ5 主観性フィルタリングは、感情信号の主要部分を失うことなく、感情ラベル付きデータのノイズをどの程度低減できるか？

主な発見

• 提案手法は、10万件のツイートを用いたトレーニングセットで全体として約80%の精度を達成した。これは、20万件のツイートでトレーニングされたベースラインモデルよりも2〜3%高い。
• EFWSヒューリスティックを導入した場合、同じ10万件のツイートデータセットで約85%の精度に達し、ベースラインを著しく上回った。
• ベースラインモデルと比較して、トレーニング時間が約50%短縮され、同じハードウェア上では2倍の速度でトレーニングが可能になった。
• 主観性閾値が0.8のとき、ユニグラムを用いたロジスティック回帰では81.77%の精度を達成し、高閾値フィルタリングの有効性が裏付けられた。
• トレーニング時間の短縮効果はユニグラム特徴量で顕著に現れたが、ユニグラム＋ビグラム特徴量を用いた場合でも、スピードの優位性は維持された。
• 結果から、主観性フィルタリングは計算負荷の低減に加え、より感情関連性の高い、ノイズの少ないデータに集中することで、モデル性能の向上も実現していることが示された。