[論文レビュー] Benchmarking sentiment analysis methods for large-scale texts: A case for using continuum-scored words and word shift graphs

Andrew J. Reagan, Brian F. Tivnan+3 more|arXiv (Cornell University)|Dec 2, 2015

Sentiment Analysis and Opinion Mining参考文献 40被引用数 25

ひとこと要約

本稿は、大規模コーパスを対象に、語彙ベースの感情分析手法をベンチマークし、信頼性があり解釈可能な感情スコアリングには、高い語彙カバレッジと連続的単語スコアリングの両方が不可欠であることを示している。ワードシフトグラフを用いて、LabMTのような連続的スコアリングを施した辞書が、二値スコアリングや低カバレッジの代替手法に比べて優れていることが明らかになった。特に文脈的誤用の検出や、感情シフトの微細な解釈を可能にする点で顕著である。

ABSTRACT

The emergence and global adoption of social media has rendered possible the real-time estimation of population-scale sentiment, bearing profound implications for our understanding of human behavior. Given the growing assortment of sentiment measuring instruments, comparisons between them are evidently required. Here, we perform detailed tests of 6 dictionary-based methods applied to 4 different corpora, and briefly examine a further 20 methods. We show that a dictionary-based method will only perform both reliably and meaningfully if (1) the dictionary covers a sufficiently large enough portion of a given text's lexicon when weighted by word usage frequency; and (2) words are scored on a continuous scale.

研究の動機と目的

• 多様な大規模コーパスにおける語彙ベースの感情分析手法の性能と解釈可能性を評価すること。
• 既存の感情辞書における主な限界、特に低カバレッジと二値スコアリングの問題を特定し、信頼性のある感情解釈を阻害する要因を明らかにすること。
• 意味的で透明性のある感情分析に不可欠な連続的スコアリングを施した辞書とワードシフトグラフの使用を提唱すること。
• コーパスの特性と解釈可能性のニーズに応じた、研究者および実務家向けの実証的指針を提供すること。

提案手法

• 本研究は、ニューヨーク・タイムズ、Twitter、映画レビュー、一般ウェブコーパスの4つの異なるコーパスを用いて、6つの語彙ベースの感情分析手法を評価した。
• テキストレベルの感情スコアを、単語スコアの重み付き平均として計算する連続的スコアリングフレームワークを適用し、語の頻度を重みとした。
• ワードシフトグラフを用いて、個々の語が全体の感情シフトにどのように寄与しているかを可視化することで、テキスト間の感情差を分解した。
• STS-GoldデータセットにおけるF1スコアを用いて性能を評価し、辞書間での一致度とカバレッジの差を比較した。
• 監視付き学習のベンチマークとしてナイーブベイズを用い、特にドメイン外での性能を語彙ベース手法と対比した。
• 分類器における最も情報量の多い語を特定するための線形指標を導出し、語レベルの寄与度の解釈を可能にした。

実験結果

リサーチクエスチョン

• RQ1 多様な大規模コーパスにおける、さまざまな語彙ベースの感情分析手法の正確性と解釈可能性は、どのように異なるか？
• RQ2 語の頻度で重み付けされた語彙カバレッジが、感情スコアの信頼性にどの程度影響を及えるか？
• RQ3 MPQA や ANEW のような辞書が、広く使用されているにもかかわらず、なぜ性能が低いのか。その失敗の根本的原因は何か？
• RQ4 集計された感情スコアのみに比べ、ワードシフトグラフは感情分析結果の解釈可能性をどの程度向上させるか？
• RQ5 連続的スコアリングを施した単語スコアは、二値スコアリングや離散的スコアリングに比べ、感情分析の性能と洞察を顕著に向上させるか？

主な発見

• ANEW 辞書は、すべてのコーパスで性能が低く、カバレッジが限定的で、他の辞書との一致度も低いため、継続的な使用は疑問視されるべきである。
• MPQA 辞書は、ニューヨーク・タイムズおよびTwitterコーパスの両方で、語幹マッチングや文脈の問題により、他の辞書と顕著な不一致を示しており、信頼性に欠ける。
• LabMT、WK、LIWC、OL 辞書は、カバレッジが低いコーパス、特に語の頻度が低いコーパスでは性能を発揮しない。これは、カバレッジが性能の決定的要因であることを示している。
• ワードシフトグラフは、二値スコアリングを施した辞書が文脈的に不適切な語の使用（例：ニューヨーク・タイムズにおける「new」）を検出できないことを明らかにした。その結果、意味的な感情の歪みが隠蔽される。
• STS-Goldデータセットにおける語彙ベース手法の中央F1スコアは0.54であり、短いテキストでは性能が限定的であることが示された。これは、より大規模なコーパスの必要性を強調する。
• ナイーブベイズのような監視付き手法は、ドメイン内データでは語彙ベース手法を上回るが、ドメイン外では著しく性能を落とす。これは、一般化可能な感情分析に向けたブラックボックスモデルの限界を示している。