[論文レビュー] NRC-Canada: Building the State-of-the-Art in Sentiment Analysis of Tweets

Saif M. Mohammad, Svetlana Kiritchenko+1 more|arXiv (Cornell University)|Aug 28, 2013

Sentiment Analysis and Opinion Mining参考文献 15被引用数 460

ひとこと要約

本論文は、ツイートおよびSMSのための2つの最先端のSVMベースのセンチメント分類器を提示する。1つはメッセージレベルのセンチメント分類（Fスコア69.02）、もう1つは語句レベルのセンチメント分類（Fスコア88.93）であり、両方ともSemEval-2013コンペティションで1位を獲得した。このシステムは、ハッシュタグおよび絵文字から自動生成されたセンチメント語彙を活用し、外見形態的特徴、意味的特徴、n-gram特徴を併用しており、語彙特徴がメッセージレベルタスクで5ポイント以上のFスコア向上に寄与した。

ABSTRACT

In this paper, we describe how we created two state-of-the-art SVM classifiers, one to detect the sentiment of messages such as tweets and SMS (message-level task) and one to detect the sentiment of a term within a submissions stood first in both tasks on tweets, obtaining an F-score of 69.02 in the message-level task and 88.93 in the term-level task. We implemented a variety of surface-form, semantic, and sentiment features. with sentiment-word hashtags, and one from tweets with emoticons. In the message-level task, the lexicon-based features provided a gain of 5 F-score points over all others. Both of our systems can be replicated us available resources.

研究の動機と目的

• ツイートやSMSメッセージなどの短いテキストのための高精度なセンチメント分類器の開発。
• ユーザーが生成したコンテンツから自動生成されたセンチメント語彙を活用することで、ソーシャルメディアデータにおけるセンチメント分析のパフォーマンスを向上させること。
• 外見形態的特徴、意味的特徴、n-gram、センチメント語彙の各特徴タイプが、メッセージレベルおよび語句レベルのセンチメント分類に与える効果を評価すること。
• すべてのモデルと語彙を自由に利用可能なリソースとして公開することで、再現性を確保すること。
• 両方のサブタスク（メッセージレベルおよび語句レベル）において、SemEval-2013 Task 2: Sentiment Analysis in Twitterコンペティションで最高のパフォーマンスを達成すること。

提案手法

• 感情語がハッシュタグとして付加されたツイートを用いて、感情がハッシュタグの感情語から推定される、大規模なセンチメント語彙（NRC Hashtag Sentiment Lexicon）を構築した。
• 絵文字が含まれるツイートを用いて、もう1つの語彙を構築した。この場合、絵文字を周囲むテキストの感情指標として扱った。
• 多様な特徴を用いたサポートベクターマシン（SVM）分類器を採用した：単語n-gram、文字n-gram、センチメント語彙スコア、否定表現のモデル化、テキスト正規化（例：長音の連続や標点の処理）。
• ハッシュタグおよび絵文字から導出された感情ラベルとの間でポイントワイズ相互情報量（PMI）を用いてセンチメント関連スコアを計算した：$score(w) = PMI(w,positive) - PMI(w,negative)$。
• 訓練データと開発データを統合してモデルを学習し、未観測のテストセット（ツイートおよびSMSの両方）で評価した。SMSには、さらにチューニングを行わず、そのまま適用した。
• 各特徴グループの寄与度を特定するためにアブレーションスタディを実施した。特に、ターゲット語またはその文脈からの特徴を個別に削除することで分析を行った。

実験結果

リサーチクエスチョン

• RQ1 ハッシュタグおよび絵文字から自動生成されたセンチメント語彙は、ツイートのセンチメント分類パフォーマンスを向上させるのにどの程度有効であるか？
• RQ2 外見形態的特徴、意味的特徴、n-gram特徴のどの組み合わせが、短いテキストのメッセージレベルおよび語句レベルのセンチメント分析で最高のパフォーマンスを達成するか？
• RQ3 メッセージレベルのセンチメント分類タスクにおいて、センチメント語彙特徴が他の特徴タイプをどの程度上回るか？
• RQ4 再トレーニングやチューニングなしに、訓練済みモデルが未観測データ（例：SMSメッセージ）にどの程度汎用的に適用可能か？
• RQ5 語句レベルのセンチメント分類において、ターゲット語特徴と文脈特徴の相対的寄与度はどの程度か？

主な発見

• NRC-Canadaシステムは、ツイートのメッセージレベルセンチメント分類タスクでFスコア69.02を達成し、34チーム中1位となった。
• 語句レベルタスクでは、ツイートでFスコア88.93を達成し、23チーム中1位であった。コンペティション後、バグ修正によりスコアは89.10に向上した。
• 自動生成されたハッシュタグベースのセンチメント語彙が、メッセージレベルタスクで5ポイント以上のFスコア向上に寄与し、他の特徴タイプを著しく上回った。
• 語句レベル分類器は、SMSメッセージでFスコア88.00（2位）を達成し、チューニングなしで優れたゼロショット一般化性能を示した。
• n-gram特徴（単語n-gramおよび文字n-gram）が最も影響力が大きく、削除するとツイートで5.24ポイント、SMSで7.85ポイントのFスコア低下を引き起こした。
• センチメント語彙特徴は2番目に重要で、削除するとツイートで3.95ポイント、SMSで4.64ポイントの性能低下を示し、精度向上に不可欠な役割を果たしていることがわかった。