[论文解读] COVID-19 Public Opinion and Emotion Monitoring System Based on Time Series Thermal New Word Mining

Yixian Zhang, Jieren Chen+7 more|arXiv (Cornell University)|May 23, 2020

Sentiment Analysis and Opinion Mining参考文献 20被引用 6

一句话总结

本文提出了一种时间序列热词挖掘方法，用于在新冠疫情疫情期间实现实时舆情与情绪监测。通过结合分布式的'Scrapy-Redis-Bloomfilter'爬虫、一种新型中文情感分析模型以及动态关键词检测，该系统能够识别新兴话题并分类情绪，其泛化能力优于吉大模型且误差更低，相关性能通过大规模数据可视化仪表板得到验证。

ABSTRACT

With the spread and development of new epidemics, it is of great reference value to identify the changing trends of epidemics in public emotions. We designed and implemented the COVID-19 public opinion monitoring system based on time series thermal new word mining. A new word structure discovery scheme based on the timing explosion of network topics and a Chinese sentiment analysis method for the COVID-19 public opinion environment is proposed. Establish a "Scrapy-Redis-Bloomfilter" distributed crawler framework to collect data. The system can judge the positive and negative emotions of the reviewer based on the comments, and can also reflect the depth of the seven emotions such as Hopeful, Happy, and Depressed. Finally, we improved the sentiment discriminant model of this system and compared the sentiment discriminant error of COVID-19 related comments with the Jiagu deep learning model. The results show that our model has better generalization ability and smaller discriminant error. We designed a large data visualization screen, which can clearly show the trend of public emotions, the proportion of various emotion categories, keywords, hot topics, etc., and fully and intuitively reflect the development of public opinion.

研究动机与目标

• 为应对在新冠疫情疫情期间追踪快速演变的公众情绪与新兴话题的挑战。
• 开发一种可扩展的系统，能够基于在线讨论频率的突然激增，检测与疫情相关的新词汇。
• 提升在疫情相关中文社交媒体内容背景下情感分类的准确性。
• 实时可视化公众舆论趋势、情绪分布与热点话题，以支持公共卫生与政策监测。

提出的方法

• 实施了'Scrapy-Redis-Bloomfilter'分布式爬虫框架，用于收集实时社交媒体数据。
• 开发了时间序列热词挖掘方法，通过识别话题频率的突然激增来检测新兴关键词。
• 专门针对新冠疫情舆情环境训练了一种中文情感分析模型，增强了对疫情特定表达的敏感性。
• 系统将情绪分类为七种类别——包括希望、快乐、低落等，并量化情绪的深度。
• 针对真实评论数据，对情感判别模型进行了优化与验证，对比基准为吉大深度学习模型。
• 设计了大规模数据可视化仪表板，动态展示情绪趋势、关键词频率与热点话题。

实验结果

研究问题

• RQ1 如何利用时间序列异常检测方法，从实时社交媒体流中有效检测出与疫情相关的新兴关键词？
• RQ2 与通用模型相比，特定领域的情感分析模型在新冠疫情背景下对中文社交媒体的情感分析性能如何？
• RQ3 所提出的系统在疫情话语语境下，对情感分类准确率与泛化能力的提升程度如何？
• RQ4 该系统在实时可视化公众情绪与话题趋势方面，效果如何？

主要发现

• 所提出的感情判别模型在新冠疫情相关评论数据上展现出优于吉大深度学习模型的泛化能力。
• 该系统的情感判别误差率低于吉大模型，表明在分类公众情绪方面具有更高的准确性。
• 时间序列热词挖掘方法成功识别出具有高度时间敏感性的新兴话题与关键词。
• 可视化仪表板有效展示了公众情绪、情绪类别占比及热点话题的实时趋势。
• 系统检测并分类了七种不同情绪状态，包括希望、快乐与低落，并可测量情绪表达的深度。
• 分布式爬虫框架通过布隆过滤器去重机制，实现了高效、可扩展的数据采集，显著减少了数据冗余。