[论文解读] Generalizable Natural Language Processing Framework for Migraine Reporting from Social Media

Yuting Guo, Swati Rajwal+11 more|PubMed|Dec 23, 2022

Health Literacy and Information Accessibility参考文献 14被引用 4

一句话总结

本文提出了一种可泛化的自然语言处理框架，用于检测社交媒体中自报的偏头痛讨论，采用基于5,750条Twitter和302条Reddit帖子训练的平台无关文本分类系统。该框架在Twitter上的F1得分为0.90，在Reddit上的F1得分为0.93，能够对现实世界在线话语中的偏头痛相关疗法和患者情绪进行稳健分析。

ABSTRACT

Migraine is a highly prevalent and disabling neurological disorder. However, information about migraine management in real-world settings is limited to traditional health information sources. In this paper, we (i) verify that there is substantial migraine-related chatter available on social media (Twitter and Reddit), self-reported by those with migraine; (ii) develop a platform-independent text classification system for automatically detecting self-reported migraine-related posts, and (iii) conduct analyses of the self-reported posts to assess the utility of social media for studying this problem. We manually annotated 5750 Twitter posts and 302 Reddit posts, and used them for training and evaluating supervised machine learning methods. Our best system achieved an F₁ score of 0.90 on Twitter and 0.93 on Reddit. Analysis of information posted by our 'migraine cohort' revealed the presence of a plethora of relevant information about migraine therapies and sentiments associated with them. Our study forms the foundation for conducting an in-depth analysis of migraine-related information using social media data.

研究动机与目标

• 验证Twitter和Reddit等社交媒体平台上是否存在大量与偏头痛相关的讨论。
• 开发一种平台独立的文本分类系统，以识别自报的偏头痛帖子。
• 分析检测到的偏头痛帖子内容，提取有关疗法和患者情绪的见解。

提出的方法

• 对5,750条Twitter帖子和302条Reddit帖子进行人工标注，创建用于训练和评估的黄金标准数据集。
• 采用迁移学习方法在多样化社交媒体文本上训练文本分类模型，以确保平台独立性。
• 采用多分类策略，以实现对偏头痛相关内容的高精度和高召回率检测。
• 使用F1分数作为主要评估指标，在Twitter和Reddit数据集上验证模型性能。
• 将训练好的模型应用于检测和从非结构化社交媒体文本中提取有关偏头痛疗法及相关患者情绪的信息。

实验结果

研究问题

• RQ1 Twitter和Reddit上存在多少自报的与偏头痛相关的讨论内容？
• RQ2 单一的NLP模型是否能够跨不同社交媒体平台泛化，以检测与偏头痛相关的帖子？
• RQ3 社交媒体帖子中通常表达哪些与偏头痛相关的信息，包括疗法和情绪？
• RQ4 所提出的框架在跨平台识别自报偏头痛内容方面的准确性如何？
• RQ5 从检测到的偏头痛帖子的语言和情感内容分析中，可以得出哪些见解？

主要发现

• 该框架在Twitter上的F1得分为0.90，在Reddit上的F1得分为0.93，表明其在不同平台间具有出色的泛化能力。
• 在Twitter和Reddit上均识别出大量自报的偏头痛相关内容，证实了这些平台作为数据源的实用性。
• 分析揭示了关于偏头痛疗法的多样化信息，包括患者的体验和治疗偏好。
• 与特定疗法相关联的患者情绪被一致捕捉，表明偏头痛管理中存在情感和体验维度。
• 该模型的高性能表明其在可扩展的真实世界偏头痛相关健康话语监测中具有潜力。