[论文解读] Characterizing Diseases from Unstructured Text: A Vocabulary Driven Word2vec Approach

Saurav Ghosh, Prithwish Chakraborty+3 more|arXiv (Cornell University)|Mar 1, 2016

Topic Modeling参考文献 21被引用 10

一句话总结

本文提出 Dis2Vec，一种基于词汇的 word2vec 模型，通过整合特定领域的知识，增强了从非结构化健康新闻中对疾病特征的表征能力。通过利用与疾病相关的词汇，Dis2Vec 在捕捉分类学属性方面优于标准 word2vec 方法，尤其在症状、传播媒介和传播方式方面表现突出，对新发疾病实现了近乎完美的准确率，并在地方性及罕见病类别中也表现出优越性能。

ABSTRACT

Traditional disease surveillance can be augmented with a wide variety of real-time sources such as, news and social media. However, these sources are in general unstructured and, construction of surveillance tools such as taxonomical correlations and trace mapping involves considerable human supervision. In this paper, we motivate a disease vocabulary driven word2vec model (Dis2Vec) to model diseases and constituent attributes as word embeddings from the HealthMap news corpus. We use these word embeddings to automatically create disease taxonomies and evaluate our model against corresponding human annotated taxonomies. We compare our model accuracies against several state-of-the art word2vec methods. Our results demonstrate that Dis2Vec outperforms traditional distributed vector representations in its ability to faithfully capture taxonomical attributes across different class of diseases such as endemic, emerging and rare.

研究动机与目标

• 解决无监督 word2vec 在高度特定领域（如疾病监测）中的局限性，其中标准模型无法捕捉有意义的语义关系。
• 开发一种将领域知识（疾病特异性词汇）整合到词嵌入训练中的方法，以改善疾病属性的语义表征。
• 从非结构化新闻语料库中自动生成疾病分类体系，并与人工标注的分类体系进行对比评估。
• 评估模型在不同疾病类别（新发、地方性和罕见病）中对关键特征表征任务（如症状、传播媒介、传播方式和暴露）的性能表现。

提出的方法

• Dis2Vec 是一种改进的跳字模型 word2vec，通过预定义的疾病相关词汇集合 $\mathcal{V}$ 来引导和监督词嵌入的学习过程。
• 模型在 HealthMap 新闻语料库上进行训练，利用特定领域的术语作为上下文，以提升疾病属性的语义相关性。
• 通过负采样方法学习词嵌入，其中词汇 $\mathcal{V}$ 用于在训练过程中约束并优先考虑相关语义关系。
• 模型在四个疾病特征表征任务上进行评估：症状、传播媒介、传播方式和暴露，使用人工标注的黄金标准作为基准。
• 性能与三种基线 word2vec 模型（SGNS、SGHS 和标准跳字模型）进行比较，每种疾病类别和任务均采用最优超参数设置。
• Dis2Vec 使用分层 Softmax 或负采样方法来优化跳字模型目标函数，并在负采样过程中应用词汇约束。

实验结果

研究问题

• RQ1 与标准无监督 word2vec 相比，基于词汇的 word2vec 模型是否能提升在非结构化健康新闻中对疾病属性的语义表征？
• RQ2 Dis2Vec 在不同疾病类别（新发、地方性及罕见病）中，对关键分类学特征表征任务的表现如何？
• RQ3 整合特定领域的词汇在多大程度上增强了模型恢复人工标注疾病特征（如症状和传播方式）的能力？
• RQ4 为何 Dis2Vec 在新发疾病上优于基线模型，尽管这些疾病理解度较低且报道中属性多样？

主要发现

• Dis2Vec 在所有疾病特征表征任务中均取得最高总体准确率，尤其在识别新发疾病的症状、传播媒介和传播方式方面表现卓越。
• 对于新发疾病 H7N9，Dis2Vec 正确识别出所有人工标注的症状（发热、咳嗽、肺炎）和传播暴露（动物接触、农民、屠宰），而 SGNS 仅检索出发热。
• 在罕见病类别（如鼠疫）中，Dis2Vec 捕获了所有关键症状（疼痛、发热、头痛），并正确将传播方式分类为媒介传播，而 SGNS 几乎未检索出这些术语。
• 在 18 种疾病类别/任务组合中的 14 种中，Dis2Vec 超过基线模型，且在所有疾病类型中，症状表征的性能提升最为显著。
• 模型性能对所提供领域知识量最为敏感，在词汇覆盖更丰富的类别（如症状）中，性能增益更明显。
• 对于地方性疾病，Dis2Vec 在症状和传播方式识别方面保持了强劲表现，尽管与新发疾病相比增益较温和，这可能是由于媒体报道中属性多样性较低。