[論文レビュー] Thumbs up? Sentiment Classification using Machine Learning Techniques

Bo Pang, Lillian Lee+1 more|ArXiv.org|May 28, 2002

Sentiment Analysis and Opinion Mining参考文献 21被引用数 2,209

ひとこと要約

本論文は、映画のレビューにおける感情分類のための3つの標準的な監督学習法（Naive Bayes、Maximum Entropy、SVM）を評価し、性能に影響する要因を分析する。これらの手法はベースラインを上回るが、トピックベースの分類には及ばないことを示している。

ABSTRACT

We consider the problem of classifying documents not by topic, but by overall sentiment, e.g., determining whether a review is positive or negative. Using movie reviews as data, we find that standard machine learning techniques definitively outperform human-produced baselines. However, the three machine learning methods we employed (Naive Bayes, maximum entropy classification, and support vector machines) do not perform as well on sentiment classification as on traditional topic-based categorization. We conclude by examining factors that make the sentiment classification problem more challenging.

研究の動機と目的

• 感情分類に対する標準的な機械学習法の有効性を人間のベースラインと比較して評価する。
• 特徴の選択（ユニグラム、バイグラム、存在情報と頻度、否定表現の処理）が性能に与える影響を評価する。
• 感情分類が話題ベースの分類より難しい理由を理解する。
• コーパスベースのベースラインと、感情分析に影響を与える言語パターンに関する洞察を提供する。

提案手法

• 文書を事前定義された特徴（ユニグラムやバイグラムなど）を用いたバグ・オブ・特徴ベクトルとして表現する。
• Naive Bayes、Maximum Entropy、SVM の分類器を、3分割交差検証でラベル付き映画レビュー上で訓練する。
• 特徴の出現情報（バイナリ）と頻度情報の影響を性能に対して調査する。
• 否定表現のタグ付けを組み込み、文脈的感情の変化を捉える。
• 精度に対する追加特徴（POSタグ、形容詞、位置情報）の効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的な監視学習法は、映画レビューの感情分類で高い正確度を達成できるか。
• RQ2 特徴の選択（ユニグラム対バイグラム、存在対頻度）が分類性能にどう影響するか。
• RQ3 否定表現タグ付けやPOS情報を取り入れると感情検出は改善されるか。
• RQ4 感情分類は話題分類と同様に容易なのか、それとも談話・文脈的手掛かりを扱う追加技術が必要なのか。

主な発見

• 3つの学習器（NB、MaxEnt、SVM）は、感情データ上でランダムベースラインおよび人間のユニグラムベースラインを上回る。
• 特徴の存在（バイナリ）の使用は、NBとSVMの性能で頻度を使用する場合より一般に高い正確度をもたらす。
• バイグラムはユニグラムの存在以上の性能を向上させず、単独で使用すると精度を下げることがある。
• 否定表現タグ付けはNBでわずかな利得をもたらすが、モデル間で一貫しない。
• 形容詞だけはユニグラムより情報量が弱く、トップのユニグラムはより広い特徴セットと同等の性能を発揮する。
• 全体として、感情分類は話題ベースの分類より難しく、最高の結果でも高精度な話題モデルには及ばない。