[論文レビュー] COVID-19 Public Opinion and Emotion Monitoring System Based on Time Series Thermal New Word Mining

Yixian Zhang, Jieren Chen+7 more|arXiv (Cornell University)|May 23, 2020

Sentiment Analysis and Opinion Mining参考文献 20被引用数 6

ひとこと要約

本稿では、新型コロナウイルス感染症の流行期における感情と世論のリアルタイム監視を目的として、時系列熱的未知語抽出手法を提案する。分散型「Scrapy-Redis-Bloomfilter」クローラー、新規に考案された中国語センチメント分析モデル、および動的キーワード検出を組み合わせることで、一般化性能が高く、誤差が少ない。Jiaguモデルよりも優れた性能を示し、大規模なデータ可視化ダッシュボードを用いて検証された。

ABSTRACT

With the spread and development of new epidemics, it is of great reference value to identify the changing trends of epidemics in public emotions. We designed and implemented the COVID-19 public opinion monitoring system based on time series thermal new word mining. A new word structure discovery scheme based on the timing explosion of network topics and a Chinese sentiment analysis method for the COVID-19 public opinion environment is proposed. Establish a "Scrapy-Redis-Bloomfilter" distributed crawler framework to collect data. The system can judge the positive and negative emotions of the reviewer based on the comments, and can also reflect the depth of the seven emotions such as Hopeful, Happy, and Depressed. Finally, we improved the sentiment discriminant model of this system and compared the sentiment discriminant error of COVID-19 related comments with the Jiagu deep learning model. The results show that our model has better generalization ability and smaller discriminant error. We designed a large data visualization screen, which can clearly show the trend of public emotions, the proportion of various emotion categories, keywords, hot topics, etc., and fully and intuitively reflect the development of public opinion.

研究の動機と目的

• 新型コロナウイルス感染症の流行期における急速に変化する世論や新たなトピックを追跡する課題に対処すること。
• オンライン討論頻度の急増に基づいて、新規の流行関連用語を検出できるスケーラブルなシステムの開発。
• パンデミック関連の中国語SNSコンテンツの文脈において、センチメント分類の正確性を向上させること。
• 公衆衛生および政策監視のため、リアルタイムで世論の傾向、感情の分布、ホットトピックを可視化すること。

提案手法

• リアルタイムのSNSデータ収集のため、分散型「Scrapy-Redis-Bloomfilter」クローラーフレームワークを実装した。
• 時系列熱的未知語抽出法を考案し、トピック頻度の急増を特定することで、新たなキーワードを検出する。
• パンデミック関連の世論環境に特化して訓練された中国語センチメント分析モデルを構築し、パンデミック特有の表現への感受性を高めた。
• 感情を「希望的」「喜び」「抑うつ」など7つのカテゴリに分類し、感情の深さを定量的に測定した。
• 実世界のコメントデータを用いて、Jiaguの深層学習モデルと比較して、センチメント判別モデルを最適化・検証した。
• 感情の傾向、キーワード頻度、ホットトピックを動的に表示できる大規模なデータ可視化ダッシュボードを設計した。

実験結果

リサーチクエスチョン

• RQ1 時系列異常検出を用いて、リアルタイムSNSストリームから効果的に新規の流行関連キーワードを検出する方法は何か？
• RQ2 一般向けモデルと比較して、新型コロナウイルス感染症の流行期における中国語SNS向けに特化したセンチメント分析モデルの性能はいかほどか？
• RQ3 提案されたシステムは、パンデミック発言の文脈において、センチメント分類の正確性と一般化能力をどの程度向上させるか？
• RQ4 本システムは、リアルタイムで進化する世論やトピック傾向をどの程度効果的に可視化できるか？

主な発見

• 提案されたセンチメント判別モデルは、Jiaguの深層学習モデルと比較して、新型コロナウイルス関連のコメントデータにおいて優れた一般化能力を示した。
• 本システムは、Jiaguモデルと比較して、感情判別誤差率が低く抑えられ、世論感情の分類精度が向上していることが示された。
• 時系列熱的未知語抽出法は、高い時間的感度を備えており、新規トピックやキーワードの特定に成功した。
• 可視化ダッシュボードは、リアルタイムでの感情傾向、感情カテゴリの割合、ホットトピックを効果的に表示した。
• システムは、希望的、喜び、抑うつなど7つの明確に区別された感情状態を検出・分類し、表現の深さを測定可能であった。
• 分散型クローラーフレームワークにより、Bloomfilterを用いた重複除去により、効率的かつスケーラブルなデータ収集が実現された。