[논문 리뷰] Sentiment Analysis of Typhoon Related Tweets using Standard and Bidirectional Recurrent Neural Networks

Joseph Marvin Imperial, Jeyrome Orosco외 2명|arXiv (Cornell University)|2019. 08. 03.

Public Relations and Crisis Communication참고 문헌 1인용 수 6

한 줄 요약

이 연구는 2013–2014년 필리핀에서 토네이도 영향을 받은 39,867건의 트윗에 표준 및 양방향 순환 신경망(RNN)을 적용하여 감성 분석을 수행하였다. 양방향 RNN을 사용한 이분법적 감성 분류에서 87.69%의 정확도를 달성하였으며, 이는 트윗의 51.1%가 긍정적인 감성을 표현했고, 19.8%는 부정적이며, 29%는 중립임을 시사하여 재난 발생 시 공중의 정서적 반응을 드러냈다.

ABSTRACT

The Philippines is a common ground to natural calamities like typhoons, floods, volcanic eruptions and earthquakes. With Twitter as one of the most used social media platform in the Philippines, a total of 39,867 preprocessed tweets were obtained given a time frame starting from November 1, 2013 to January 31, 2014. Sentiment analysis determines the underlying emotion given a series of words. The main purpose of this study is to identify the sentiments expressed in the tweets sent by the Filipino people before, during, and after Typhoon Yolanda using two variations of Recurrent Neural Networks; standard and bidirectional. The best generated models after training with various hyperparameters achieved a high accuracy of 81.79% for fine-grained classification using standard RNN and 87.69% for binary classification using bidirectional RNN. Findings revealed that 51.1% of the tweets sent were positive expressing support, love, and words of courage to the victims; 19.8% were negative stating sadness and despair for the loss of lives and hate for corrupt officials; while the other 29% were neutral tweets from local news stations, announcements of relief operations, donation drives, and observations by citizens.

연구 동기 및 목표

• 소셜 미디어 데이터를 활용하여 태풍 요란다 발생 시기와 이후의 공중 감성을 조사한다.
• 재난 관련 트윗의 감성 분류에서 표준 RNN과 양방향 RNN의 성능을 비교한다.
• 주요 태풍 발생 전, 중, 후에 트위터에서의 공중 논의 정서적 톤을 이해한다.
• 재난 대응 및 커뮤니케이션 기획을 위한 공중 감성 역학에 대한 통찰을 제공한다.

제안 방법

• 태풍 요란다 영향을 다루는 2013년 11월 1일부터 2014년 1월 31일까지 수집된 39,867건의 트윗 전처리.
• 텍스트 데이터의 시퀀스 모델링을 위한 표준 및 양방향 순환 신경망(RNN) 적용.
• 감성 분류 성능 최적화를 위한 다양한 하이퍼파rameter를 사용한 모델 훈련.
• 감성 표현 평가를 위한 세분화 및 이분법적 분류 체계 사용.
• 보류된 테스트 세트를 사용한 표준 지표를 통한 모델 정확도 평가.

실험 결과

연구 질문

• RQ1 표준 RNN과 양방향 RNN은 태풍 관련 트윗의 감성 분류에서 어떻게 비교되는가?
• RQ2 태풍 요란다 발생 시 및 이후 공중 트윗의 긍정, 부정, 중립 감성 분포는 어떠한가?
• RQ3 공중 감성은 태풍 사건의 시간선상에서 어떻게 변화하는가?
• RQ4 RNN 기반 모델은 짧고 비공식적인 소셜 미디어 텍스트에서 정서적 톤을 얼마나 정확하게 탐지할 수 있는가?

주요 결과

• 양방향 RNN은 이분법적 감성 분류에서 87.69%의 최고 정확도를 기록하여 표준 RNN을 능가했다.
• 표준 RNN은 세분화 감성 분류에서 81.79%의 정확도를 달성했다.
• 분석된 트윗의 51.1%는 피해자에 대한 애정, 지지, 격려와 같은 긍정적인 감성을 표현했다.
• 19.8%의 트윗은 주로 인명 손실에 대한 슬픔과 부정부패한 공무원들에 대한 분노를 반영한 부정적인 감성을 담고 있었다.
• 29%의 트윗은 뉴스 업데이트, 구호 작전 발표, 시민 관찰과 같은 중립적 내용을 포함하고 있었다.
• 결과적으로, 양방향 RNN이 재난 발생 시 짧은 소셜 미디어 텍스트의 맥락적 감성을 포착하는 데 효과적임을 입증하였다.