[論文レビュー] Supervised Term Weighting Metrics for Sentiment Analysis in Short Text

Hussam Hamdan, Patrice Bellot+1 more|arXiv (Cornell University)|Oct 10, 2016

Text and Document Classification Technologies参考文献 18被引用数 3

ひとこと要約

本稿では、ツイッター、レストランレビュー、ラップトップレビューのデータセットを用いて、短いテキストにおけるセンチメント分析のための15種類の教師ありグローバル語句重み付け指標と4種類のローカル指標を評価している。SVMを用いた実験において、ほとんどの指標が二値ベースラインの性能を向上させることを確認した。rf、kl、wllrなどの指標は一貫して効果的であり、優れた指標は広い分布とゼロでない平均値を示すのに対し、劣った指標は狭くゼロに近い分布を示すことが分かった。

ABSTRACT

Term weighting metrics assign weights to terms in order to discriminate the important terms from the less crucial ones. Due to this characteristic, these metrics have attracted growing attention in text classification and recently in sentiment analysis. Using the weights given by such metrics could lead to more accurate document representation which may improve the performance of the classification. While previous studies have focused on proposing or comparing different weighting metrics at two-classes document level sentiment analysis, this study propose to analyse the results given by each metric in order to find out the characteristics of good and bad weighting metrics. Therefore we present an empirical study of fifteen global supervised weighting metrics with four local weighting metrics adopted from information retrieval, we also give an analysis to understand the behavior of each metric by observing and analysing how each metric distributes the terms and deduce some characteristics which may distinguish the good and bad metrics. The evaluation has been done using Support Vector Machine on three different datasets: Twitter, restaurant and laptop reviews.

研究の動機と目的

• なぜ特定の教師あり語句重み付け指標が短いテキストのセンチメント分析において他の指標を上回るのかを理解すること。
• 異なるデータセットにおけるグローバルおよびローカル語句重み付け指標の分布的挙動を分析すること。
• 高パフォーマンス指標と低パフォーマンス指標を区別する特徴を同定すること。
• ローカルおよびグローバル重み付け方式を組み合わせた場合の分類性能への影響を評価すること。
• 報告されたF1スコアを超えた実証的知見を提供し、分布パターンの背後にあるメカニズムに焦点を当てる。

提案手法

• 3つのベンチマークデータセット（ツイッター、レストランレビュー、ラップトップレビュー）を用いて、15種類のグローバル教師あり語句重み付け指標と4種類のローカル重み付け指標を実験的に評価。
• すべての実験で分類器としてサポートベクターマシン（SVM）を用い、指標間の評価を一貫性を持って行う。
• ローカル重み付けには、バイナリ、tf、atf、logtf、およびsumstd/local正規化を用いた標準的なベクトル空間モデル（VSM）表現を適用。
• F1スコアを全組み合わせのローカルおよびグローバル指標の組み合わせに対して測定し、相対的な有効性を評価。
• 各グローバル指標について、語句重みのコロナスにわたる分布を分析し、平均、標準偏差、歪度に注目。
• 複数のデータセット間での比較を通じて、一貫したパフォーマンスを示す指標を同定し、指標挙動の一般化可能性を評価。

実験結果

リサーチクエスチョン

• RQ1 どのグローバルおよびローカル語句重み付け指標が、多様な短いテキストデータセットにおいて一貫してセンチメント分類性能を向上させるか？
• RQ2 語句重みの統計的分布（平均、分散、歪度）は、特定の指標の性能とどのように関係しているか？
• RQ3 短いテキストのセンチメント分析において、高パフォーマンス指標と低パフォーマンス指標を区別する特徴は何か？
• RQ4 グローバル指標と組み合わせた場合、ローカル重み付け方式が全体の性能にどの程度影響を与えるか？
• RQ5 異なるドメイン（例：ツイッター対製品レビュー）間で、指標挙動に一貫したパターンを同定できるか？

主な発見

• バイナリベースライン（bl*tp）は、ラップトップデータセットで69.33％のF1スコアを達成し、ほとんどのグローバル指標がこのベースラインを上回った。
• dsidf指標は、atfローカル重み付けと組み合わせた際、ラップトップデータセットで最高のF1スコア72.02％を記録した。
• ne指標は、atfと組み合わせてラップトップデータセットで71.71％のF1スコアを達成し、上位パフォーマンスを示した。
• rf、kl、wllrなどの指標は、3つのデータセットすべてで一貫して高い性能を示し、耐性があることが判明した。
• 劣った指標は、分布が狭く、平均がゼロに近いことが特徴であり、識別力に欠けることが示唆された。
• tf や atf などのローカル指標は、効果的なグローバル指標と組み合わせることで、特にツイッターおよびレストランレビューのデータセットで性能が顕著に向上した。