[论文解读] Designing Domain Specific Word Embeddings: Applications to Disease Surveillance.

Saurav Ghosh, Prithwish Chakraborty+3 more|arXiv (Cornell University)|Mar 1, 2016

Data-Driven Disease Surveillance被引用 3

一句话总结

本文提出 Dis2Vec，一种针对疾病监测的领域特定 word2vec 模型，基于 HealthMap 新闻语料库进行训练。通过学习疾病及其属性的嵌入表示，Dis2Vec 在构建准确的疾病分类体系和预测疫情方面优于标准 word2vec 方法，展现出更优的语义捕捉能力。

ABSTRACT

Traditional disease surveillance can be augmented with a wide variety of realtime sources such as news and social media. However, these sources are in general unstructured and construction of surveillance tools such as taxonomical correlations and trace mapping involves considerable human supervision. In this paper, we motivate a disease vocabulary driven word2vec model (Dis2Vec) which we use to model diseases and constituent attributes as word embeddings from the HealthMap news corpus. We use these word embeddings to create disease taxonomies and evaluate our model accuracy against human annotated taxonomies. We compare our accuracies against several state-of-the art word2vec methods. Our results demonstrate that Dis2Vec outperforms traditional distributed vector representations in its ability to faithfully capture disease attributes and accurately forecast outbreaks.

研究动机与目标

• 通过从非结构化文本中自动构建疾病分类体系，减少疾病监测中的人工干预。
• 解决通用词嵌入在捕捉疾病细微属性和关系方面的局限性。
• 开发一种以疾病词汇为导向的词嵌入模型，以增强疫情预测与语义建模能力。
• 将模型性能与人工标注的分类体系及当前最先进的 word2vec 方法进行对比评估。

提出的方法

• 在 HealthMap 新闻语料库上训练定制化的 word2vec 模型（Dis2Vec），重点关注与疾病相关的术语及其属性。
• 利用以疾病为中心的词汇表引导 skip-gram 架构，提升疾病特异性语义的表示能力。
• 学习密集向量表示（词嵌入），以编码疾病与其属性（如症状、传播方式、病原体）之间的关系。
• 通过向量相似性与聚类方法，应用学习到的嵌入表示构建分层疾病分类体系。
• 通过将模型生成的结构与金标准人工标注分类体系进行对比，评估分类体系的准确性。
• 在分类体系构建与疫情预测任务中，将 Dis2Vec 的性能与多种当前最先进的 word2vec 变体进行基准对比。

实验结果

研究问题

• RQ1 与通用词嵌入相比，是否疾病特异性 word2vec 模型能显著提升疾病分类体系构建的准确性？
• RQ2 Dis2Vec 在多大程度上能通过学习到的嵌入表示捕捉疾病属性（如症状、致病原、传播途径）？
• RQ3 与标准 word2vec 及其他当前最先进的方法相比，Dis2Vec 在疫情预测中的表现如何？
• RQ4 在 word2vec 训练过程中引入领域特定词汇表，是否能生成更语义忠实的表示，以支持公共卫生监测？

主要发现

• Dis2Vec 在构建与人工标注金标准对齐的疾病分类体系方面，显著优于标准 word2vec 模型。
• 通过向量相似性分析，该模型展现出更强的能力，可捕捉疾病属性（如病原体类型、传播机制）的语义信息。
• Dis2Vec 通过利用更具语义意义的嵌入表示，在疫情预测任务中实现了更高的准确性。
• 在训练过程中使用以疾病为中心的词汇表，相比通用语料库，能生成更忠实且可操作的表示。