[논문 리뷰] Sentiment and Emotion Classification of Epidemic Related Bilingual data from Social Media

Muhammad Zain Ali, Kashif Javed외 2명|arXiv (Cornell University)|2021. 05. 04.

Sentiment Analysis and Opinion Mining인용 수 6

한 줄 요약

이 연구는 파키스탄의 지진 후 데인그아 유행 초기 신호를 탐지하기 위해 트위터와 뉴스 웹사이트에서 수집한 소셜 미디어 데이터를 활용하여 투어두어어 및 영어로 된 이중 언어 감성 및 정서 분류 프레임워크를 제안한다. 기계 학습 및 딥 러닝 모델, 특히 어텐션 메커니즘을 갖춘 양방향 LSTM을 사용하여 영어 감성 분류에서 84.4%의 정확도와 우르두어 감성 분류에서 78.4%의 정확도를 달성하였으며, 기존 모델을 능가하고, 다중 클래스 분류기 전략이 일대일 대비 전략보다 더 높은 재현율을 보이며 우수한 성능을 보였다.

ABSTRACT

In recent years, sentiment analysis and emotion classification are two of the most abundantly used techniques in the field of Natural Language Processing (NLP). Although sentiment analysis and emotion classification are used commonly in applications such as analyzing customer reviews, the popularity of candidates contesting in elections, and comments about various sporting events; however, in this study, we have examined their application for epidemic outbreak detection. Early outbreak detection is the key to deal with epidemics effectively, however, the traditional ways of outbreak detection are time-consuming which inhibits prompt response from the respective departments. Social media platforms such as Twitter, Facebook, Instagram, etc. allow the users to express their thoughts related to different aspects of life, and therefore, serve as a substantial source of information in such situations. The proposed study exploits the bilingual (Urdu and English) data from Twitter and NEWS websites related to the dengue epidemic in Pakistan, and sentiment analysis and emotion classification are performed to acquire deep insights from the data set for gaining a fair idea related to an epidemic outbreak. Machine learning and deep learning algorithms have been used to train and implement the models for the execution of both tasks. The comparative performance of each model has been evaluated using accuracy, precision, recall, and f1-measure.

연구 동기 및 목표

• 이중 언어(우르두어 및 영어)의 유행 관련 소셜 미디어 데이터를 대상으로 감성 및 정서 분류 시스템을 개발하여 초기 유행 탐지에 기여한다.
• 파키스탄의 데인그아 유행 기간 동안 기계 학습 및 딥 러닝 모델의 공공 감성 및 정서 분류 성능을 평가한다.
• 감성 및 정서 분류 작업에서 일대일 대비 전략과 다중 클래스 분류 전략의 효과성을 비교한다.
• 소셜 미디어 데이터를 질병 유행 모니터링을 위한 실시간 감시 도구로 사용할 수 있는지 타당성을 탐색한다.

제안 방법

• 파키스탄의 데인그아 유행 기간 동안 트위터와 뉴스 웹사이트에서 이중 언어(우르두어 및 영어)의 유행 관련 데이터를 수집하였다.
• NLTK 어휘 라이브러리에서 유도된 동적 커파이트 점수를 사용하여 감성 레이블을 할당하고, 내용 기반 정서 주석을 수행하였다.
• 우르두어와 같은 저자원 언어에 적합한 표준 NLP 기법을 사용하여 텍스트를 전처리하였다.
• 다양한 모델을 훈련 및 평가: 다항 베이지안, 선형 SVM, 1D-CNN, LSTM, 양방향 LSTM, 그리고 어텐션 메커니즘을 갖춘 LSTM.
• 가중치 평균 정밀도 및 재현율 지표를 사용하여 일대일 대비 전략과 다중 클래스 분류 전략을 비교하였다.
• 양 언어에서 정확도, 정밀도, 재현율, F1 측정치를 사용하여 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 기계 학습 및 딥 러닝 모델은 이중 언어(우르두어 및 영어)의 유행 관련 소셜 미디어 데이터에서 감성 및 정서 분류에 얼마나 효과적인가?
• RQ2 감성 및 정서 분류 작업에서 일대일 대비 전략과 다중 클래스 분류 전략의 성능를 비교하면 어떻게 되는가?
• RQ3 이 맥락에서 왜 딥 러닝 모델이 기존 기계 학습 모델보다 우수한 성능을 보이는가?
• RQ4 데이터 불균형과 클래스 분포는 특히 더 많은 카테고리가 있는 정서 분류에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 딥 러닝 모델, 특히 어텐션 메커니즘을 갖춘 양방향 LSTM은 영어 감성 분류에서 84.4%의 최고 정확도를 기록하였고, 우르두어 감성 분류에서는 78.4%의 정확도를 달성하였다.
• 딥 러닝 모델의 성능은 기계 학습 모델보다 일관되게 뛰어나며, 특히 긍정 감성의 재현율에서 가장 열악한 성능을 보인 다항 베이지안 모델을 제외하고는 전반적으로 뛰어난 성능을 보였다.
• 다중 클래스 분류 전략이 일대일 대비 전략보다 성능이 뛰어나며, 더 높은 가중치 재현율(실제 양성 사례를 더 잘 탐지함을 의미함)을 보였고, 일대일 대비 전략은 더 높은 가중치 정밀도를 보였다.
• 정서 분류 모델은 감성 분류 모델보다 성능이 열 劣하였는데, 이는 중립 샘플을 제거한 후 데이터 밀도가 감소하여 과소적합이 발생했기 때문이다.
• 어 attention 메커니즘을 갖춘 양방향 LSTM은 감성 분류에서 표준 양방향 LSTM보다 뛰어난 성능을 보였지만, 정서 분류에서는 성능이 열 劣하여 작업에 특화된 모델 행동을 시사하였다.