[논문 리뷰] Automatically Detecting Self-Reported Birth Defect Outcomes on Twitter for Large-scale Epidemiological Research

Ari Z Klein, Abeed Sarker외 2명|arXiv (Cornell University)|2018. 10. 22.

Topic Modeling참고 문헌 37인용 수 6

한 줄 요약

이 연구는 약 23,000건의 주석 처리된 트윗으로 구성된 정제된 데이터셋을 사용하여, 자가 보고한 기형아 결과를 자동으로 탐지하기 위해 지도 학습 모델을 개발하고 평가한다. 최고 성능을 보인 서포트 벡터 머신(SVM) 모델은 '기형' 클래스에 대해 F1 점수 0.65, '가능한 기형' 클래스에 대해 0.51을 기록하여, 자연어 처리(NLP) 및 클래스 불균형 완화 기법을 활용한 소셜 미디어를 통한 대규모 역학적 감시의 가능성을 입증한다.

ABSTRACT

In recent work, we identified and studied a small cohort of Twitter users whose pregnancies with birth defect outcomes could be observed via their publicly available tweets. Exploiting social media's large-scale potential to complement the limited methods for studying birth defects, the leading cause of infant mortality, depends on the further development of automatic methods. The primary objective of this study was to take the first step towards scaling the use of social media for observing pregnancies with birth defect outcomes, namely, developing methods for automatically detecting tweets by users reporting their birth defect outcomes. We annotated and pre-processed approximately 23,000 tweets that mention birth defects in order to train and evaluate supervised machine learning algorithms, including feature-engineered and deep learning-based classifiers. We also experimented with various under-sampling and over-sampling approaches to address the class imbalance. A Support Vector Machine (SVM) classifier trained on the original, imbalanced data set, with n-grams, word clusters, and structural features, achieved the best baseline performance for the positive classes: an F1-score of 0.65 for the "defect" class and 0.51 for the "possible defect" class. Our contributions include (i) natural language processing (NLP) and supervised machine learning methods for automatically detecting tweets by users reporting their birth defect outcomes, (ii) a comparison of feature-engineered and deep learning-based classifiers trained on imbalanced, under-sampled, and over-sampled data, and (iii) an error analysis that could inform classification improvements using our publicly available corpus. Future work will focus on automating user-level analyses for cohort inclusion.

연구 동기 및 목표

• 대규모 역학 연구를 지원하기 위해 트위터 사용자가 자가 보고한 기형아 결과를 자동으로 식별하기 위한 방법을 개발하기 위해.
• 기형아와 같은 희귀 건강 결과에 대해 소셜 미디어 데이터에서 발생하는 클래스 불균형 문제를 해결하기 위해.
• 불균형, 과소표본화 및 과표본화된 데이터셋에서 전통적인 특징 엔지니어링 기반 모델과 딥 러닝 접근 방식을 비교하기 위해.
• 미래 연구를 위해 공개 가능한 인간 주석 처리된 트윗 코퍼스를 제작하고 배포하기 위해.
• 모집단 수준의 기형아 감시를 위한 스케일러블하고 자동화된 사용자 수준 코hort 식별을 가능하게 하기 위해.

제안 방법

• 기형아를 언급한 약 23,000건의 공개 트윗을 주석 처리하여 학습 및 평가를 위한 황금 표준 데이터셋을 구축하였다.
• 지도 분류기의 입력 표현으로 n-그램, 워드 클러스터, 구조적 특징의 조합을 사용하였다.
• 서포트 벡터 머신(SVM) 및 딥 러닝 기반 분류기와 같은 다양한 지도 학습 모델을 훈련하고 비교하였다.
• 데이터셋의 클래스 불균형 영향을 완화하기 위해 다양한 과소표본화 및 과표본화 기법을 적용하였다.
• 모델 성능 평가를 위해 정규 평가 지표인 정밀도, 재현도, F1 점수를 '기형' 및 '가능한 기형' 긍정 클래스에서 사용하였다.
• 향후 모델 개선 및 데이터셋 정교화를 안내하기 위해 잘못 분류된 인스턴스에 대한 오류 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 지도 기반 기계 학습 모델은 소셜 미디어 텍스트에서 자가 보고된 기형아 결과를 효과적으로 탐지할 수 있는가?
• RQ2 희귀 건강 결과에 대해 불균형한 소셜 미디어 데이터에서 다양한 특징 엔지니어링 및 딥 러닝 접근 방식의 성능은 어떻게 다른가?
• RQ3 과소표본화 및 과표본화 기법은 트위터에서 기형아 보고를 탐지하는 데 모델 성능에 어떤 영향을 미치는가?
• RQ4 공개 가능한 인간 주석 처리 트윗 코퍼스는 향후 기형아 분야의 디지털 역학 연구에 어떻게 기여할 수 있는가?
• RQ5 자기 보고 기형아 트윗을 분류할 때 나타나는 주요 오류 패턴은 무엇이며, 이를 모델 정교화에 어떻게 활용할 수 있는가?

주요 결과

• 서포트 벡터 머신(SVM) 분류기는 원본의 불균형 데이터셋에서 '기형' 클래스에 대해 최고의 F1 점수 0.65, '가능한 기형' 클래스에 대해 0.51을 기록하였다.
• n-그램, 워드 클러스터, 구조적 특징을 활용한 특징 엔지니어링 기반 모델이 이 특정 작업과 데이터 설정에서 딥 러닝 기반 모델보다 성능이 뛰어났다.
• 클래스 불균형이 모델 성능에 상당한 영향을 미쳤으며, 과소표본화 및 과표본화 전략 모두 재현도를 향상시켰지만, 기준선인 SVM 성능을 초월하지 못했다.
• 약 23,000건의 주석 처리된 트윗으로 구성된 공개 코퍼스는 향후 디지털 역학 분야의 NLP 모델 학습 및 평가에 유용한 자원을 제공한다.
• 오류 분석을 통해 '가능한 기형'과 비기형 언급 간 혼동과 같은 일반적인 잘못 분류 패턴을 확인하였으며, 이는 향후 모델 개선을 위한 대상이 될 수 있다.
• 본 연구는 자연어 처리(NLP)와 지도 학습을 활용하여 트위터 데이터를 통해 대규모 자동 감시가 가능하다는 점을 입증하였다.