[논문 리뷰] Syndromic classification of Twitter messages

Nigel Collier, Son Doan|arXiv (Cornell University)|2011. 10. 13.

Data-Driven Disease Surveillance참고 문헌 8인용 수 7

한 줄 요약

이 논문은 공공보건 온톨로지와 키워드 기반 특징을 사용하여 트위터 메시지를 6개의 증상군 카테고리—호흡기, 소화기, 신경계, 발진, 전반적 증상, 출혈성—으로 분류하는 실시간 기계학습 시스템을 제시한다. 다항식 커널(차수 1)을 사용한 SVM 모델이 출혈성 증상에 대해 F1 스코어 89.9, 전반적 증상에 대해 89.3을 기록하여, 소셜 미디어 데이터를 활용한 자동 증상 감시에서 뛰어난 성능을 보였다.

ABSTRACT

Recent studies have shown strong correlation between social networking data and national influenza rates. We expanded upon this success to develop an automated text mining system that classifies Twitter messages in real time into six syndromic categories based on key terms from a public health ontology. 10-fold cross validation tests were used to compare Naive Bayes (NB) and Support Vector Machine (SVM) models on a corpus of 7431 Twitter messages. SVM performed better than NB on 4 out of 6 syndromes. The best performing classifiers showed moderately strong F1 scores: respiratory = 86.2 (NB); gastrointestinal = 85.4 (SVM polynomial kernel degree 2); neurological = 88.6 (SVM polynomial kernel degree 1); rash = 86.0 (SVM polynomial kernel degree 1); constitutional = 89.3 (SVM polynomial kernel degree 1); hemorrhagic = 89.9 (NB). The resulting classifiers were deployed together with an EARS C2 aberration detection algorithm in an experimental online system.

연구 동기 및 목표

• 공공보건 온톨로지 용어를 기반으로 트위터 메시지를 증상군 카테고리로 자동 분류하는 텍스트 마이닝 시스템을 개발하기 위해.
• 트위터 메시지를 6개의 증후군으로 분류하는 데 있어 나이브 베이즈와 서포트 벡터 머신 모델의 성능을 평가하기 위해.
• 가장 우수한 성능을 보인 분류기와 이상 탐지 알고리즘(EARS C2)을 결합하여 실시간 감시 시스템에 구현하기 위해.
• 시간과 지리적 위치별로 분류된 메시지를 집계함으로써 질병 유행의 조기 감지를 가능하게 하기 위해.

제안 방법

• 공공보건 온톨로지 기반으로 6개의 증상군 카테고리에 대해 애너테이션된 7,431개의 트위터 메시지 코퍼스를 수집하였다.
• 트위터에서 증상 신호를 추출하기 위해 초기 필터로 키워드 기반 어휘를 적용하였다.
• 10겹 교차검증을 사용하여 애너테이션된 코퍼스를 기반으로 나이브 베이즈와 서포트 벡터 머신 모델을 훈련시켰다.
• 분류 성능 최적화를 위해 SVM에 다항식 커널과 반경 기반 함수 커널을 사용하였다.
• 불필요하거나 노이즈가 많은 맥락을 제거하기 위해 정지어 및 어구를 활용한 후처리를 구현하였다.
• 역사적 메시지 수를 도시별로 시간대별로 기반으로 하여, 최고 성능의 모델과 EARS C2 이상 탐지 알고리즘을 통합하여 실시간 경고 기반선을 생성하였다.

실험 결과

연구 질문

• RQ1 공공보건 온톨로지에서 유래한 키워드 기반 특징을 사용하여 기계학습 모델이 트위터 메시지를 증상군 카테고리로 효과적으로 분류할 수 있는가?
• RQ2 노이즈가 많은 소셜 미디어 텍스트에서 다양한 증상군 카테고리를 분류하는 데 있어 나이브 베이즈와 서포트 벡터 머신 모델의 성능는 어떻게 비교되는가?
• RQ3 다양한 모델 아키텍처(예: 다항식 대비 반경 기반 함수 커널) 중에서 어느 것이 증상군 분류의 F1 스코어를 가장 높게 산출하는가?
• RQ4 트위터 메시지의 실시간 분류가 조기 질병 유행 경고를 위한 효과적인 이상 탐지에 기여할 수 있는가?

주요 결과

• 다항식 커널(차수 1)을 사용한 SVM 모델이 전반적 증상에 대해 F1 스코어 89.3을 기록하여 다른 모델보다 뛰어난 성능을 보였다.
• 출혈성 증상에 대해 나이브 베이즈 모델이 F1 스코어 89.9를 기록하여 희귀하지만 중요한 이 분류군에서 뛰어난 성능을 보였다.
• 소화기 증상에 대해서는 두 모델 모두 낮은 성능(F1: 79.2–85.4)을 보였으며, 이는 상호 애너테이터 간 일치도가 낮고 훈련 데이터가 제한되었기 때문일 것이다.
• 신경계 증상에 대해 다항식 커널(차수 1)을 사용한 SVM 모델이 F1 스코어 88.6을 기록하여 이 분류군에 대해 모델의 일반화 능력이 뛰어나다는 것을 시사했다.
• 시스템은 오픈 액세스 웹 애플리케이션(DIZIE)으로 구현되었으며, 시간당 업데이트되는 실시간 원형 차트를 통해 도시별 및 증상군별 경고 수준을 제공하였다.
• EARS C2 알고리즘이 역사를 기반으로 한 메시지 수를 활용하여 경고 기반선을 성공적으로 생성하여, 시간적 이상 탐지를 통해 유행 감시가 가능했다.