[논문 리뷰] COVID-19 Public Opinion and Emotion Monitoring System Based on Time Series Thermal New Word Mining

Yixian Zhang, Jieren Chen외 7명|arXiv (Cornell University)|2020. 05. 23.

Sentiment Analysis and Opinion Mining참고 문헌 20인용 수 6

한 줄 요약

이 논문은 코로나19 팬데믹 기간 동안 실시간 공중 여론 및 정서 모니터링을 위한 시계열 열역학적 신어 탐색 기법을 제안한다. 분산형 'Scrapy-Redis-Bloomfilter' 크롤러, 새로운 중국어 정서 분석 모델, 동적 关련 키워드 탐지 기법을 융합하여, 시스템은 새로운 주제를 식별하고 일반화 능력이 향상되고 오류율이 낮은 Jiagu 모델보다 우수한 성능을 보이며, 대규모 데이터 시각화 대시보드를 통해 검증된다.

ABSTRACT

With the spread and development of new epidemics, it is of great reference value to identify the changing trends of epidemics in public emotions. We designed and implemented the COVID-19 public opinion monitoring system based on time series thermal new word mining. A new word structure discovery scheme based on the timing explosion of network topics and a Chinese sentiment analysis method for the COVID-19 public opinion environment is proposed. Establish a "Scrapy-Redis-Bloomfilter" distributed crawler framework to collect data. The system can judge the positive and negative emotions of the reviewer based on the comments, and can also reflect the depth of the seven emotions such as Hopeful, Happy, and Depressed. Finally, we improved the sentiment discriminant model of this system and compared the sentiment discriminant error of COVID-19 related comments with the Jiagu deep learning model. The results show that our model has better generalization ability and smaller discriminant error. We designed a large data visualization screen, which can clearly show the trend of public emotions, the proportion of various emotion categories, keywords, hot topics, etc., and fully and intuitively reflect the development of public opinion.

연구 동기 및 목표

• 코로나19 팬데믹 기간 동안 급격히 변화하는 공중 여론과 새로운 주제를 추적하는 데 도전하는 데 대비하기 위해.
• 온라인 논의 빈도의 급격한 증가에 기반해 새로운 팬데믹 관련 용어를 탐지할 수 있는 확장 가능한 시스템을 개발하기 위해.
• 팬데믹 관련 중국어 소셜미디어 콘텐츠 맥락에서 정서 분류 정확도를 향상시키기 위해.
• 공중 여론 추세, 정서 분포, 핫 토픽을 실시간으로 시각화하여 공중 보건 및 정책 모니터링을 위해 활용하기 위해.

제안 방법

• 실시간 소셜미디어 데이터 수집을 위해 분산형 'Scrapy-Redis-Bloomfilter' 크롤러 프레임워크를 구현하였다.
• 시간적 급증을 탐지함으로써 주제 빈도의 급격한 증가를 식별함으로써 신규 키워드를 탐지하는 시계열 열역학적 신어 탐색 방법을 개발하였다.
• 코로나19 공중 여론 환경에 특화된 중국어 정서 분석 모델을 훈련시켜 팬데믹 특화 표현에 대한 민감도를 향상시켰다.
• 시스템은 정서를 일곱 가지 카테고리—희망적, 기쁨, 우울 등—으로 분류하고 정서의 깊이를 정량화하였다.
• 실제 댓글 데이터를 사용하여 Jiagu 딥러닝 모델과 대비해 정서 분류 모델을 개선하고 검증하였다.
• 정서 추세, 키워드 빈도, 핫 토픽을 동적으로 표시할 수 있도록 대규모 데이터 시각화 대시보드를 설계하였다.

실험 결과

연구 질문

• RQ1 시계열 이상 탐지 기법을 사용해 실시간 소셜미디어 스트림에서 급격히 증가하는 팬데믹 관련 신어를 효과적으로 탐지할 수 있는가?
• RQ2 일반 목적 모델과 비교해 코로나19 팬데믹 기간 동안 중국어 소셜미디어에 특화된 정서 분석 모델의 성능은 어떠한가?
• RQ3 제안된 시스템은 팬데믹 논의 맥락에서 정서 분류 정확도와 일반화 능력을 얼마나 향상시키는가?
• RQ4 시스템은 실시간으로 변화하는 공중 정서와 주제 추세를 얼마나 효과적으로 시각화할 수 있는가?

주요 결과

• 제안된 정서 분류 모델은 코로나19 관련 댓글 데이터에서 Jiagu 딥러닝 모델보다 더 뛰어난 일반화 능력을 보였다.
• 시스템은 Jiagu 모델보다 낮은 정서 분류 오차율을 기록하여 공중 여론 분류 정확도 향상이 확인되었다.
• 시계열 열역학적 신어 탐색 방법은 높은 시간 해상도로 새로운 주제와 키워드를 성공적으로 식별하였다.
• 시각화 대시보드는 실시간으로 공중 정서 추세, 정서 카테고리 비율, 핫 토픽을 효과적으로 표시하였다.
• 시스템은 희망적, 기쁨, 우울 등 일곱 가지의 구분 가능한 정서 상태를 탐지하고, 표현의 깊이를 측정 가능한 수준으로 분류하였다.
• 분산 크롤러 프레임워크는 Bloomfilter 기반 중복 제거를 통해 효율적이고 확장 가능한 데이터 수집을 보장하였다.