[论文解读] Clinical Concept Embeddings Learned from Massive Sources of Medical Data.

Andrew L. Beam, Benjamin Kompa+5 more|arXiv (Cornell University)|Apr 4, 2018

Biomedical Text Mining and Ontologies被引用 28

一句话总结

本文提出了 cui2vec，一种利用 GloVe 和 word2vec 算法在 6000 万份保险索赔、2000 万份临床记录和 170 万篇生物医学期刊文章的大规模融合数据上训练的方法，以学习 108,477 种医学概念的临床概念嵌入。该方法在临床基准测试中达到最先进性能，并公开提供预训练嵌入和交互式工具供使用。

ABSTRACT

Word embeddings have emerged as a popular approach to unsupervised learning of word relationships in machine learning and natural language processing. In this article, we benchmark two of the most popular algorithms, GloVe and word2vec, to assess their suitability for capturing medical relationships in large sources of biomedical data. Leaning on recent theoretical insights, we provide a unified view of these algorithms and demonstrate how different sources of data can be combined to construct the largest ever set of embeddings for 108,477 medical concepts using an insurance claims database of 60 million members, 20 million clinical notes, and 1.7 million full text biomedical journal articles. We evaluate our approach, called cui2vec, on a set of clinically relevant benchmarks and in many instances demonstrate state of the art performance relative to previous results. Finally, we provide a downloadable set of pre-trained embeddings for other researchers to use, as well as an online tool for interactive exploration of the cui2vec embeddings.

研究动机与目标

• 评估 GloVe 和 word2vec 在大规模生物医学数据中捕捉医学关系的适用性。
• 通过整合多种数据源，构建目前已知最大的临床概念嵌入集合（108,477 个概念）。
• 在临床相关任务上对 cui2vec 进行基准测试，并证明其性能优于先前方法。
• 发布预训练嵌入和交互式工具，以支持可复现性及更广泛的研究应用。

提出的方法

• 作者将 GloVe 和 word2vec 算法应用于整合保险索赔、临床记录和全文生物医学文章的统一语料库。
• 他们利用理论洞见统一两种算法，实现在异构数据源上的稳定训练。
• 该模型为 108,477 种医学概念学习密集向量表示（嵌入），并以临床通用标识符（CUI）进行索引。
• 整合并预处理来自 6000 万名患者、2000 万份临床记录和 170 万篇期刊文章的数据用于训练。
• 使用跳字模型和连续袋模型架构端到端训练嵌入，通过负采样进行优化。
• 最终的 cui2vec 模型在临床基准上进行评估，并随可下载的数据集和交互式可视化工具一并发布。

实验结果

研究问题

• RQ1 GloVe 和 word2vec 能否有效从异构的生物医学数据源中学习有意义的医学概念表示？
• RQ2 整合索赔数据、临床记录和全文文章在多大程度上提升了临床嵌入的质量和覆盖范围？
• RQ3 cui2vec 模型是否在临床相关下游任务上优于现有方法？
• RQ4 所学习的嵌入在多大程度上捕捉了临床相关的语义和句法关系？

主要发现

• cui2vec 模型在多个临床相关基准测试中达到最先进性能，优于先前方法。
• 整合索赔数据、临床记录和全文文章显著提升了 108,477 个医学概念的嵌入覆盖范围和质量。
• 该模型在捕捉医学概念之间语义关系方面表现强劲，经基准任务验证。
• 预训练的 cui2vec 嵌入可公开下载，支持在各类生物医学 NLP 应用中的复用。
• 提供交互式在线工具，可实时探索 cui2vec 嵌入中的语义关系。
• GloVe 和 word2vec 的统一框架实现了在大规模异构医学文本源上的稳定且可扩展的训练。