[论文解读] Automatically Detecting Self-Reported Birth Defect Outcomes on Twitter for Large-scale Epidemiological Research

Ari Z Klein, Abeed Sarker+2 more|arXiv (Cornell University)|Oct 22, 2018

Topic Modeling参考文献 37被引用 6

一句话总结

本研究开发并评估了监督式机器学习模型，以自动检测Twitter用户自报的出生缺陷结果，使用了一个约23,000条标注tweet的精选数据集。表现最佳的支持向量机（SVM）模型在'缺陷'类别的F1得分达到0.65，在'可能缺陷'类别的F1得分达到0.51，证明了通过自然语言处理（NLP）和类别不平衡缓解技术，利用社交媒体实现大规模流行病学监测的可行性。

ABSTRACT

In recent work, we identified and studied a small cohort of Twitter users whose pregnancies with birth defect outcomes could be observed via their publicly available tweets. Exploiting social media's large-scale potential to complement the limited methods for studying birth defects, the leading cause of infant mortality, depends on the further development of automatic methods. The primary objective of this study was to take the first step towards scaling the use of social media for observing pregnancies with birth defect outcomes, namely, developing methods for automatically detecting tweets by users reporting their birth defect outcomes. We annotated and pre-processed approximately 23,000 tweets that mention birth defects in order to train and evaluate supervised machine learning algorithms, including feature-engineered and deep learning-based classifiers. We also experimented with various under-sampling and over-sampling approaches to address the class imbalance. A Support Vector Machine (SVM) classifier trained on the original, imbalanced data set, with n-grams, word clusters, and structural features, achieved the best baseline performance for the positive classes: an F1-score of 0.65 for the "defect" class and 0.51 for the "possible defect" class. Our contributions include (i) natural language processing (NLP) and supervised machine learning methods for automatically detecting tweets by users reporting their birth defect outcomes, (ii) a comparison of feature-engineered and deep learning-based classifiers trained on imbalanced, under-sampled, and over-sampled data, and (iii) an error analysis that could inform classification improvements using our publicly available corpus. Future work will focus on automating user-level analyses for cohort inclusion.

研究动机与目标

• 开发自动化方法，识别在Twitter上自报出生缺陷结果的用户，以支持大规模流行病学研究。
• 解决在社交媒体数据中，针对如出生缺陷等罕见健康结果所面临的类别不平衡问题。
• 在类别不平衡、欠采样和过采样数据集上，比较传统特征工程模型与深度学习方法的性能。
• 创建并发布一个公开可用的、经人工标注的与出生缺陷相关的tweet语料库，以供未来研究使用。
• 实现可扩展的、自动化的用户级队列识别，以支持人群水平的出生缺陷监测。

提出的方法

• 标注了约23,000条提及出生缺陷的公开可用tweet，以创建用于训练和评估的黄金标准数据集。
• 采用n-gram、词聚类和结构特征的组合作为监督分类器的输入表示。
• 训练并比较了多种监督模型，包括支持向量机（SVM）和基于深度学习的分类器。
• 应用了多种欠采样和过采样技术，以减轻数据集中类别不平衡的影响。
• 在正样本类别（'缺陷'和'可能缺陷'）上使用标准评估指标——精确率、召回率和F1得分，以评估模型性能。
• 对误分类样本进行错误分析，以指导未来模型改进和数据集优化。

实验结果

研究问题

• RQ1 监督式机器学习模型能否有效检测社交媒体文本中的自报出生缺陷结果？
• RQ2 在类别不平衡的社交媒体数据中，针对罕见健康结果，不同特征工程方法与深度学习方法的性能表现如何？
• RQ3 欠采样和过采样技术对在Twitter上检测出生缺陷报告的模型性能有何影响？
• RQ4 公开可用的人工标注tweet语料库如何提升未来在出生缺陷数字流行病学研究中的价值？
• RQ5 在分类自报出生缺陷tweet时，常见的错误模式是什么？这些模式如何为模型优化提供指导？

主要发现

• 支持向量机（SVM）分类器在原始、类别不平衡的数据集上，对'缺陷'类别的F1得分最高，达到0.65，对'可能缺陷'类别的F1得分为0.51。
• 在本项特定任务和数据设置中，采用n-gram、词聚类和结构特征的特征工程模型优于基于深度学习的模型。
• 类别不平衡显著影响了模型性能，且欠采样与过采样策略虽提升了召回率，但未超越基线SVM模型的性能。
• 公开提供的约23,000条标注tweet语料库，为未来数字流行病学中NLP模型的训练与评估提供了宝贵资源。
• 错误分析揭示了常见的误分类模式，例如将'可能缺陷'与非缺陷提及混淆，提示存在针对性优化模型的潜在机会。
• 本研究证明了通过自然语言处理和监督学习，利用Twitter数据实现大规模、自动化的出生缺陷结果监测是可行的。