[論文レビュー] Twitter Sentiment Analysis: Lexicon Method, Machine Learning Method and Their Combination

Olga Kolchyna, Thársis T. P. Souza+2 more|arXiv (Cornell University)|Jul 3, 2015

Sentiment Analysis and Opinion Mining参考文献 60被引用数 133

ひとこと要約

本論文では、語彙ベースのセンチメントスコアと機械学習を組み合わせるハイブリッドセンチメント分析手法を提案する。クラス不均衡に対処するためコストセンシティブSVMを用い、Fスコアは73%に向上し、単独の語彙ベースや機械学習手法を上回った。絵文字やスラングを強化した語彙の導入により、従来の語彙よりも精度が向上した。

ABSTRACT

This paper covers the two approaches for sentiment analysis: i) lexicon based method; ii) machine learning method. We describe several techniques to implement these approaches and discuss how they can be adopted for sentiment classification of Twitter messages. We present a comparative study of different lexicon combinations and show that enhancing sentiment lexicons with emoticons, abbreviations and social-media slang expressions increases the accuracy of lexicon-based classification for Twitter. We discuss the importance of feature generation and feature selection processes for machine learning sentiment classification. To quantify the performance of the main sentiment analysis methods over Twitter we run these algorithms on a benchmark Twitter dataset from the SemEval-2013 competition, task 2-B. The results show that machine learning method based on SVM and Naive Bayes classifiers outperforms the lexicon method. We present a new ensemble method that uses a lexicon based sentiment score as input feature for the machine learning approach. The combined method proved to produce more precise classifications. We also show that employing a cost-sensitive classifier for highly unbalanced datasets yields an improvement of sentiment classification performance up to 7%.

研究の動機と目的

• Twitter向けの語彙ベースおよび機械学習ベースのセンチメント分析手法の評価と比較を行う。
• 絵文字、省略語、SNSスラングを語彙に組み込むことで分類精度が向上するかどうかを調査する。
• 語彙から導出されたセンチメントスコアを機械学習モデルの特徴量として統合することで性能向上を検討する。
• 極度に不均衡なTwitterデータセットにおけるセンチメント分類に、コストセンシティブ学習が与える影響を評価する。
• SemEval-2013 Twitterセンチメントデータセットを用いて、提案手法を最先端の手法と比較してベンチマークする。

提案手法

• ベースの意見語彙（OL）、手動で選別された絵文字・省略語・スラングを追加したOL（OL + EMO）、さらに自動生成語彙で拡張したOL + EMO + AUTOの3種類のセンチメント語彙を構築した。
• Twitterメッセージを $ n \times m $ のバイナリ行列として表現するため、bag-of-words（BOW）モデルを適用した。ここで $ n $ はインスタンス数、$ m $ は特徴量数を表す。
• 機械学習モデルへの入力特徴量として、センチメント語彙スコアを追加し、情報ゲインに基づく特徴選択により特徴量の重要度を順位付けした。
• ベンチマーク用のSemEval-2013 Task 2-Bデータセットを用いて、ナイーブベイズ、決定木、SVM、コストセンシティブSVMの複数の分類器を訓練した。
• データセットの不均衡に起因する誤分類（特にポジティブ・ネガティブがニュートラルと誤分類されるケース）を最小化するため、コストセンシティブSVMを採用した。
• SemEval-2013の評価プロトコルに従い、ポジティブとネガティブクラス間のFスコアを評価指標として用いた。

実験結果

リサーチクエスチョン

• RQ1 絵文字、省略語、SNSスラングを語彙に追加することで、Twitterにおけるセンチメント分類精度が向上するか？
• RQ2 語彙スコアを特徴量として機械学習モデルに統合するハイブリッド手法は、単独の語彙ベースまたは機械学習手法と比較して、性能に優れているか？
• RQ3 極度に不均衡なTwitterデータセットにおいて、コストセンシティブ学習がセンチメント分類性能に与える影響はどの程度か？
• RQ4 特に語彙から導出されたセンチメントスコアを含む、どの特徴量がTwitterテキストのセンチメント分類において最も情報量が多いか？
• RQ5 提案されたハイブリッド手法は、SemEval-2013ベンチマークで既存の最先端システムを上回る性能を発揮できるか？

主な発見

• 手動で選別された絵文字およびSNS表現を追加したOL + EMO語彙が、ベースのOLおよびより大きなOL + EMO + AUTO語彙を上回り、的確な語彙強化が精度向上に寄与することを示した。
• 語彙スコアを機械学習モデルの特徴量として統合するハイブリッド手法は、単独の語彙ベースや機械学習手法よりも、より正確な分類を実現した。
• コストセンシティブSVM分類器はFスコア73%を達成し、標準SVM（66%）と比較して7%の向上を示し、Twitterセンチメント分析におけるクラス不均衡への対処の有効性を裏付けた。
• 評価された分類器の中で、コストセンシティブSVMがナイーブベイズ（64%）、決定木（62%）、標準SVM（66%）を上回り、SemEval-2013テストセットで最高のスコアを記録した。
• 情報ゲインに基づく特徴選択プロセスにおいて、語彙ベースのセンチメントスコアが上位にランク付けされ、その予測的関連性の高さが確認された。
• 提案されたハイブリッドモデルはFスコア73%を達成し、SemEval-2013コンペティションで優勝したチームの69.02%を上回り、ベンチマークデータセット上で優れた性能を発揮した。