[論文レビュー] Sentiment analysis of twitter data

Hamid Bagheri, Johirul Islam|arXiv (Cornell University)|Nov 15, 2017

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本稿では、リアルタイムAPI連携と自然言語処理技術を用いた、Twitterデータにおけるセンチメント分析の実用的フレームワークを提示する。政治から人道的問題に至る多様なトピックに対してその手法を適用した結果、ニュートラルなセンチメントが顕著に多く見られ、現在のセンチメント分析モデルに内在する限界を浮き彫りにし、ニュートラルなコンテンツの処理を改善する必要性を示唆している。

ABSTRACT

Social networks are the main resources to gather information about people's opinion and sentiments towards different topics as they spend hours daily on social media and share their opinion. In this technical paper, we show the application of sentimental analysis and how to connect to Twitter and run sentimental analysis queries. We run experiments on different queries from politics to humanity and show the interesting results. We realized that the neutral sentiments for tweets are significantly high which clearly shows the limitations of the current works.

研究の動機と目的

• リアルタイムデータ収集を用いたTwitterデータにおけるセンチメント分析の実用的アプローチを示すこと。
• 政治や人道的問題を含む多様なトピックにおけるセンチメント分布を評価すること。
• Twitterデータにおけるニュートラルなセンチメントの割合の高さを特定・分析すること。
• ニュートラルなコンテンツの過剰代表が原因で、現在のセンチメント分析モデルに限界が生じることを強調すること。
• 研究者および実務家が再現可能な技術パイプラインを提供すること。

提案手法

• 著者らは、事前に定義されたクエリに基づいてリアルタイムでツイートを収集するため、Twitter APIを用いる。
• 収集されたツイートをクリーニングおよび正規化するためのテキスト前処理を適用する。
• 確立されたNLP技術およびセンチメントリソースを用いてセンチメント分類を実施する。
• システムは、政治や人道的トピックを含む多様な分野のクエリを処理する。
• 特にニュートラルなセンチメントの普及度を特定するために、センチメント分布を分析する。
• 性能および一貫性を検証するため、さまざまなサンプルクエリを用いてフレームワークを実装およびテストする。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムのTwitterデータに対して、どのように効果的にセンチメント分析を適用できるか？
• RQ2 多様なTwitterトピックにおけるセンチメントクラス（肯定的、否定的、ニュートラル）の分布はどのようになるか？
• RQ3 なぜTwitterデータにおけるニュートラルなセンチメントの割合が顕著に高いのか？
• RQ4 現在のセンチメント分析モデルが、ニュートラルなコンテンツをどの程度適切に処理できないのか？
• RQ5 Twitterにおけるセンチメント分析用に、実用的かつ再現可能なパイプラインを構築できるか？

主な発見

• 多数のツイートがニュートラルと分類されたことから、現在のセンチメント分析システムにおける主要な限界が示された。
• ニュートラルなセンチメントの高い発生率は、既存のモデルがニュートラルなコンテンツ検出に最適化されていない可能性を示唆している。
• トピックごとにセンチメント分析の結果にばらつきが見られ、政治的および人道的トピックでは特徴的なセンチメントパターンが確認された。
• 本研究では、APIを介したリアルタイムのTwitterデータ収集が、センチメント分析タスクにおいて実行可能で効果的であることが確認された。
• 研究結果は、ソーシャルメディアにおけるニュートラルまたは曖昧な言語をより効果的に処理できるモデルの改善が不可欠であることを強調している。
• 技術的パイプラインは、多様なクエリカテゴリにわたり、センチメント分類が成功裏に実装された。