[论文解读] Did You Really Just Have a Heart Attack? Towards Robust Detection of Personal Health Mentions in Social Media

Payam Karisani, Eugene Agichtein|arXiv (Cornell University)|Feb 26, 2018

Topic Modeling参考文献 40被引用 4

一句话总结

本文提出 WESPAD，一种鲁棒的、低资源的社交媒体个人健康提及（PHM）检测方法，通过利用扭曲的词嵌入和混合特征，在有限训练数据下显著优于当前最先进模型，尤其在流感和多病种基准测试中取得更高的 F1 分数，展现出对罕见或表达模糊的健康事件的强大泛化能力。

ABSTRACT

Millions of users share their experiences on social media sites, such as Twitter, which in turn generate valuable data for public health monitoring, digital epidemiology, and other analyses of population health at global scale. The first, critical, task for these applications is classifying whether a personal health event was mentioned, which we call the (PHM) problem. This task is challenging for many reasons, including typically short length of social media posts, inventive spelling and lexicons, and figurative language, including hyperbole using diseases like "heart attack" or "cancer" for emphasis, and not as a health self-report. This problem is even more challenging for rarely reported, or frequent but ambiguously expressed conditions, such as "stroke". To address this problem, we propose a general, robust method for detecting PHMs in social media, which we call WESPAD, that combines lexical, syntactic, word embedding-based, and context-based features. WESPAD is able to generalize from few examples by automatically distorting the word embedding space to most effectively detect the true health mentions. Unlike previously proposed state-of-the-art supervised and deep-learning techniques, WESPAD requires relatively little training data, which makes it possible to adapt, with minimal effort, to each new disease and condition. We evaluate WESPAD on both an established publicly available Flu detection benchmark, and on a new dataset that we have constructed with mentions of multiple health conditions. Our experiments show that WESPAD outperforms the baselines and state-of-the-art methods, especially in cases when the number and proportion of true health mentions in the training data is small.

研究动机与目标

• 为解决在短篇、非正式的社交媒体帖子中检测真实个人健康提及的挑战，其中隐喻语言和罕见疾病导致误报率过高。
• 开发一种在极少标注数据下能跨多种疾病泛化的检测方法，避免繁琐的手动特征工程。
• 提升对中风或癌症等常被用作夸张表达而非真实自述的疾病检测准确率。
• 通过准确识别社交媒体中自报的健康事件，实现可扩展、实时的公共卫生监测。
• 通过构建能快速适应新疾病的模型，减少对大规模、疾病特异性训练集的依赖。

提出的方法

• WESPAD 结合词汇、句法、基于词嵌入和上下文的特征，用于在社交媒体中检测个人健康提及。
• 提出一种新颖的词嵌入空间扭曲技术，以从极少正样本中增强特征学习。
• 通过 we_distortion 和 we_partitioning 特征，基于训练数据分布对词向量表示进行优化。
• 在低资源环境下应用实例特定的特征加权（IG-weighting），以优先选择信息量大的特征。
• 通过整合前后文词语的上下文特征，提升上下文理解能力。
• 通过自动从稀疏、嘈杂的社交媒体文本中学习有效表示，避免手动特征工程。

实验结果

研究问题

• RQ1 在训练数据稀缺的情况下，模型能否在高召回率和高精确率下检测社交媒体中的个人健康提及？
• RQ2 在低资源环境下，WESPAD 相较于当前最先进深度学习模型表现如何？
• RQ3 在存在隐喻语言和罕见疾病的情况下，词嵌入空间扭曲在多大程度上提升了检测性能？
• RQ4 WESPAD 是否能在无需微调或手动特征工程的情况下，跨多种疾病实现良好泛化？
• RQ5 上下文和句法特征的引入在模糊健康提及上的性能影响如何？

主要发现

• 在 PHM2017 数据集上，WESPAD 的 F1 得分为 0.695，优于所有基线模型，包括 LSTM 和 CNN 等深度学习模型。
• 在 FLU2013 基准上，WESPAD 的 F1 达到 0.712，比最佳基线模型（ME+lex）高出 0.055 F1 分。
• 仅使用 20% 的正样本时，WESPAD 的 F1 为 0.658，而 ME+lex 为 0.564，表明其在极少数样本下仍具强大泛化能力。
• we_distortion 和 we_partitioning 特征对性能贡献最大，分别使 F1 提升 7.4% 和 6.1%。
• 在低数据场景（10%-30% 正样本）下，WESPAD 显著优于 ME+lex 和基于规则的模型，凸显其对数据稀缺的鲁棒性。
• 特征消融分析表明，基于上下文的特征（context_next, context_prev）和句法特征也有显著贡献，尽管低于基于词嵌入的特征。