[论文解读] Did you take the pill? - Detecting Personal Intake of Medicine from Twitter

Debanjan Mahata, Jasper Friedrichs+2 more|arXiv (Cornell University)|Aug 3, 2018

Spam and Phishing Detection参考文献 19被引用 6

一句话总结

本文提出一种浅层卷积神经网络（CNN）的堆叠集成模型，用于检测推文中文本中个人用药行为的提及，采用人工标注的数据集。该系统实现了最先进的微平均F值0.693，支持在药物警戒、心理健康监测和情感计算等应用中实现个体层面的用药行为追踪。

ABSTRACT

Mining social media messages such as tweets, articles, and Facebook posts for health and drug related information has received significant interest in pharmacovigilance research. Social media sites (e.g., Twitter), have been used for monitoring drug abuse, adverse reactions of drug usage and analyzing expression of sentiments related to drugs. Most of these studies are based on aggregated results from a large population rather than specific sets of individuals. In order to conduct studies at an individual level or specific cohorts, identifying posts mentioning intake of medicine by the user is necessary. Towards this objective we develop a classifier for identifying mentions of personal intake of medicine in tweets. We train a stacked ensemble of shallow convolutional neural network (CNN) models on an annotated dataset. We use random search for tuning the hyper-parameters of the CNN models and present an ensemble of best models for the prediction task. Our system produces state-of-the-art result, with a micro-averaged F-score of 0.693. We believe that the developed classifier has direct uses in the areas of psychology, health informatics, pharmacovigilance and affective computing for tracking moods, emotions and sentiments of patients expressing intake of medicine in social media.

研究动机与目标

• 通过识别社交媒体中的个人用药行为，实现个体层面的健康监测。
• 解决现有药物警戒研究集中于群体趋势而非个体行为的空白。
• 开发一种稳健的分类器，用于检测短篇、非正式文本（如推文）中的自我报告用药行为。
• 通过追踪与用药行为相关的情绪和情感，支持心理学、健康信息学和情感计算等应用。

提出的方法

• 作者在人工标注的推文数据集上训练一个浅层卷积神经网络（CNN）模型的堆叠集成。
• 通过随机搜索对CNN模型的超参数进行调优，以优化性能。
• 最终预测通过组合集成中表现最佳的模型输出结果生成。
• 数据集通过人工标注构建，以区分对药物的一般提及与个人用药行为。
• 模型使用微平均F值作为主要指标进行训练与评估。

实验结果

研究问题

• RQ1 深度学习模型能否有效检测非正式社交媒体文本中的个人用药行为？
• RQ2 CNN模型的集成方法与单个模型相比，在识别自我报告用药行为方面表现如何？
• RQ3 在个人用药行为检测的基准数据集上，可达到何种性能水平？
• RQ4 该分类器在心理健康与药物警戒中支持个体层面健康监测的潜力有多大？

主要发现

• 所提出的CNN堆叠集成模型实现了0.693的微平均F值，为该任务的最先进结果。
• 采用随机搜索进行超参数调优，提升了模型的泛化能力与性能表现。
• 分类器能成功区分推文中的个人用药提及与一般性或第三人称提及。
• 该模型在心理健康与情感计算应用中，对患者自报用药行为的追踪具有实际应用价值。