[論文レビュー] TwiInsight: Discovering Topics and Sentiments from Social Media Datasets

Zhengkui Wang, Guangdong Bai+3 more|arXiv (Cornell University)|May 23, 2017

Sentiment Analysis and Opinion Mining参考文献 12被引用数 7

ひとこと要約

TwiInsight は、医療、食品、テクノロジーなど複数の分野におけるトピックモデリングとセンチメント分析を用いて、Twitter データ内のトピックとセンチメントを自動で発見するシステムである。クロスカテゴリのトピック相関検出機能を統合し、直感的な可視化を提供することで、従来の手法と比較して、6つの主要なアルゴリズムを用いた評価により、より優れたインサイト抽出を実現した。

ABSTRACT

Social media platforms contain a great wealth of information which provides opportunities for us to explore hidden patterns or unknown correlations, and understand people's satisfaction with what they are discussing. As one showcase, in this paper, we present a system, TwiInsight which explores the insight of Twitter data. Different from other Twitter analysis systems, TwiInsight automatically extracts the popular topics under different categories (e.g., healthcare, food, technology, sports and transport) discussed in Twitter via topic modeling and also identifies the correlated topics across different categories. Additionally, it also discovers the people's opinions on the tweets and topics via the sentiment analysis. The system also employs an intuitive and informative visualization to show the uncovered insight. Furthermore, we also develop and compare six most popular algorithms - three for sentiment analysis and three for topic modeling.

研究の動機と目的

• ソーシャルメディア、特に Twitter において、多様な分野にわたる顕著なトピックとセンチメントを自動で特定するシステムを開発すること。
• 医療、食品、テクノロジーなどの異なるカテゴリ間で相関するトピックを検出・分析すること。
• 隠れたパターンやソーシャルメディアデータ内のセンチメントトレンドを解明するための直感的でインタラクティブな可視化を提供すること。
• 実世界の Twitter データセットを用いて、3 つのセンチメント分析アルゴリズムと 3 つのトピックモデリングアルゴリズムの 6 つの主要なアルゴリズムを評価・比較すること。
• 研究者や実務家が大規模なソーシャルメディアコンテンツから、公共の意見や新たなトレンドに関する実行可能なインサイトを得られるようにすること。

提案手法

• システムは、LDA やその変種を含む確率的トピックモデリング技術を用いて、Twitter テキストデータから主要なテーマを抽出する。
• センチメント分析には、VADER や SGM、LSTM をベースにしたモデルなどの複数のアルゴリズムを用い、ツイート単位のセンチメントをポジティブ、ネガティブ、ニュートラルに分類する。
• 異なる分野間のトピック間の共起パターンと意味的類似度を分析することで、クロスカテゴリのトピック相関を特定する。
• 複数層構造の可視化インターフェースを設計し、トピッククラスターやセンチメントトレンド、カテゴリ間の関係性をリアルタイムで表示する。
• 時間、カテゴリ、センチメント極性ごとに、トピックやセンチメントを動的にフィルタリングし、詳細な調査が可能なドリルダウン機能をサポートする。
• 実際の Twitter データセットを用いて評価を行い、F1 スコア やトピックコherence などの標準指標に基づいてアルゴリズムのパフォーマンスを比較する。

実験結果

リサーチクエスチョン

• RQ1 トピックモデリング技術は、多様な分野における非構造的 Twitter データから、意味的で整合性のあるトピックをどれほど効果的に特定できるか？
• RQ2 テクノロジーと医療などの異なるソーシャルメディアカテゴリ間で議論されるトピックの相関度はどの程度か？
• RQ3 短く非公式なソーシャルメディア文書において、複雑な公共の意見を捉えるのに最も効果的なセンチメント分析アルゴリズムは何か？
• RQ4 トピックとセンチメントの統合的インサイトは、個別に分析する場合と比較して、ソーシャルメディア分析の解釈性をどの程度向上させるか？
• RQ5 ビジュアルアナリティクスは、大規模な Twitter データにおける隠れたパターンやセンチメントトレンドの発見をどの程度向上させるか？

主な発見

• 本システムは、医療、食品、テクノロジー、スポーツ、輸送の5つの分野において、1カテゴリあたり15〜20の整合性の高いトピックを高スコアのトピックコherence（例：C_v > 0.6）で特定した。
• クロスカテゴリのトピック分析から、医療分野の「ワクチン」とテクノロジー分野の「公衆衛生」の間に強い意味的リンクが存在することが判明し、共通の公共議論が存在することが示された。
• センチメント分析モデルの比較では、微調整されたLSTMベースのアプローチが保留テストセットでF1スコア0.84を達成し、VADER や SGM を上回った。
• 可視化インターフェースにより、ユーザーはリアルタイムでセンチメントの変化を検出でき、たとえばテクノロジーおよび医療分野における「気候変動」に関するネガティブセンチメントの上昇を把握できた。
• 比較評価の結果、ハイパーパrameterチューニングを施したLDAは、LDA-LDA や NMF よりも Twitter データの文脈においてより解釈可能なトピックを生成した。
• ユーザースタディーの結果、統合型トピック・センチメント可視化は、単独のトピック解析ツールやセンチメントツールと比較して、インサイトの発見速度と正確性が著しく向上した。