[논문 리뷰] Rapid Classification of Crisis-Related Data on Social Networks using Convolutional Neural Networks

Dat Tien Nguyen, Kamela Ali Al Mannai외 4명|arXiv (Cornell University)|2016. 08. 12.

Public Relations and Crisis Communication참고 문헌 27인용 수 40

한 줄 요약

이 논문은 수작업 특징 공학이 필요 없이 빠르고 자원이 적은 조건에서 위기 관련 트윗을 분류하기 위한 컨volutional 신경망(CNN) 기반 모델을 제안한다. 모델은 특히 이벤트 특화 레이블 데이터가 부족한 초기 재난 대응 시기에, 외부 이벤트 데이터를 효과적으로 활용함으로써 기존 비신경망 방법 대비 최대 10%p의 절대 성능 향상을 이룩하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The role of social media, in particular microblogging platforms such as Twitter, as a conduit for actionable and tactical information during disasters is increasingly acknowledged. However, time-critical analysis of big crisis data on social media streams brings challenges to machine learning techniques, especially the ones that use supervised learning. The Scarcity of labeled data, particularly in the early hours of a crisis, delays the machine learning process. The current state-of-the-art classification methods require a significant amount of labeled data specific to a particular event for training plus a lot of feature engineering to achieve best results. In this work, we introduce neural network based classification methods for binary and multi-class tweet classification task. We show that neural network based models do not require any feature engineering and perform better than state-of-the-art methods. In the early hours of a disaster when no labeled data is available, our proposed method makes the best use of the out-of-event data and achieves good results.

연구 동기 및 목표

• 레이블 데이터가 부족하거나 가용하지 않은 재난 상황에서 위기 관련 소셜 미디어 콘텐츠를 신속하고 정확하게 분류하는 문제를 해결한다.
• 광범위한 특징 공학이 필요하고 외부 이벤트 데이터에서 성능이 떨어지는 전통적 지도 학습 방법의 한계를 극복한다.
• 이전 재난 데이터로부터의 전이 학습을 통해 다양한 위기 이벤트에 대해 잘 일반화되는 딥 러닝 모델을 개발한다.
• 트위터 스트림에서 행동 가능한 위기 정보를 더 빠르고 정확하게 식별함으로써 인도적 구호 대응자들의 상황 인식 능력을 향상시킨다.

제안 방법

• 수동적 특징 공학 없이도 짧고 비공식적인 트윗에서 중요한 n-gram 특징을 자동으로 학습하기 위해 최대 풀링을 적용한 컨volutional 신경망(CNN)을 사용한다.
• 표현 학습 및 분류 성능 향상을 위해 CNN에 다층 퍼셉트론(MLP)을 추가로 통합한다.
• 이벤트 내 및 외부 이벤트의 레이블 데이터 조합을 사용하여 모델을 훈련하고, 이전 재난 데이터로부터의 전이 학습에 중점을 둔다.
• 저자원 환경에서 의미적 의미를 포착하기 위해 분산 밀도 단어 임베딩(e.g., word2vec 또는 GloVe)을 CNN의 입력으로 사용한다.
• 재난 동안 새로운 레이블 데이터가 가용해짐에 따라 모델을 점진적으로 갱신하기 위해 온라인 학습 전략을 적용한다.
• 다양한 이벤트의 데이터를 통합할 때 모델의 강인성을 향상시키기 위해 정규화 및 인스턴스 선택과 같은 도메인 적응 기법을 구현한다.

실험 결과

연구 질문

• RQ1 기존 지도 학습 방법에 비해 수작업 특징 공학 없이도 딥 러닝 모델이 위기 트윗 분류에서 뛰어난 성능을 내는가?
• RQ2 이벤트 특화 레이블이 전혀 없는 초기 재난 단계에서 외부 이벤트 데이터만으로 훈련된 CNN 기반 모델의 성능는 어떠한가?
• RQ3 이벤트 내 및 외부 이벤트 훈련 데이터를 결합했을 때 분류 성능에 어떤 영향을 미치며, 정확도가 떨어지는가?
• RQ4 클래스 분포와 언어적 특성이 다양한 위기 이벤트 간에 모델의 성능는 어떻게 변화하는가?

주요 결과

• 제안된 CNN 모델은 오직 이벤트 내 훈련 데이터만을 사용할 경우, 최상의 비신경망 기반 모델 대비 이진 분류에서 최대 7.5%p의 절대 성능 향상을 달성했다.
• 이벤트 특화 데이터가 없는 상황에서 CNN는 오직 외부 이벤트 데이터만을 사용했을 때 비신경망 모델 대비 최대 10%p의 절대 성능 향상을 기록했다.
• 이벤트 내 훈련 데이터에 외부 이벤트 데이터를 추가하면 성능이 약간 떨어지는 경향을 보였으며, 이는 재난 후기 단계에서 이러한 데이터의 사용에 신중함이 필요함을 시사한다.
• 다중 클래스 분류 과제에서 모델은 일관된 우월성을 보였으며, 잘 표현된 클래스의 AUC는 높고 희귀 클래스의 AUC는 낮아, 클래스 불균형의 영향을 반영했다.
• Nepal 사례에서는 Not-Relevant 클래스가 가장 쉽게 분류되었으며(AUC ~50%), 캘리포니아 사례에서는 가장 어려웠다(AUC < 10%), 이는 데이터 분포와 레이블링의 어려움을 반영한다.
• 성능은 이벤트에 따라 달라졌으며, 캘리포니아와 태풍 하구핏 데이터셋은 네팔과 사이클론 팜보다 더 쉽게 분류되었는데, 이는 데이터 분포와 의미 모호성의 영향을 받은 것으로 추정된다.