[论文解读] AWE-CM Vectors: Augmenting Word Embeddings with a Clinical Metathesaurus

Willie Boag, Hassan Kané|arXiv (Cornell University)|Dec 5, 2017

Topic Modeling参考文献 14被引用 8

一句话总结

本文提出 AWE-CM 向量，通过整合 UMLS 元词汇表中的临床概念映射来增强词嵌入，从而提升临床 NLP 的性能。通过将 word2vec 的上下文扩展至包含 CUI（临床通用标识符），该方法显著提高了与临床专家判断的相关性——在医生标注的相似度评分上，最高达到 0.508 的斯皮尔曼等级相关系数，优于标准 word2vec 和非临床预训练向量。

ABSTRACT

In recent years, word embeddings have been surprisingly effective at capturing intuitive characteristics of the words they represent. These vectors achieve the best results when training corpora are extremely large, sometimes billions of words. Clinical natural language processing datasets, however, tend to be much smaller. Even the largest publicly-available dataset of medical notes is three orders of magnitude smaller than the dataset of the oft-used "Google News" word vectors. In order to make up for limited training data sizes, we encode expert domain knowledge into our embeddings. Building on a previous extension of word2vec, we show that generalizing the notion of a word's "context" to include arbitrary features creates an avenue for encoding domain knowledge into word embeddings. We show that the word vectors produced by this method outperform their text-only counterparts across the board in correlation with clinical experts.

研究动机与目标

• 为解决标准词嵌入在临床 NLP 中因训练语料库较小而导致的性能有限问题。
• 通过整合来自 UMLS 元词汇表的专家验证医学知识，提升临床环境下的词向量质量。
• 证明在 word2vec 中引入基于 CUI 的上下文可增强与临床专家的语义相似度相关性。
• 提供一个公开可用的、领域增强的词嵌入模型，使其在临床评估基准中优于仅基于文本的向量和非临床预训练向量。

提出的方法

• 通过将上下文从相邻词语扩展至 UMLS 元词汇表中的 CUI（临床通用标识符），扩展 word2vec 框架。
• 利用 UMLS MRCON 数据库中的映射关系，为 MIMIC-III 临床笔记中的每个词语构建 (词, CUI) 对。
• 使用支持任意上下文特征的工具 WORD2VECF，在标准词共现对和 (词, CUI) 对上训练词向量。
• 应用标准预处理：动态上下文窗口（1–8 个词元）、稀有词的子采样，以及训练前移除稀有词。
• 使用包含 26.8 亿个基于词的和 2.657 亿个基于 CUI 的 (词, 上下文) 对的合并语料库，训练 AWE-CM 模型。
• 使用专家标注的相似度数据集，将 AWE-CM 与基线模型（Google 新闻词向量和仅基于 MIMIC 的 word2vec 向量）进行比较。

实验结果

研究问题

• RQ1 在词嵌入训练中整合 UMLS CUI 映射是否能提升与临床专家判断的一致性？
• RQ2 CUI 基于上下文的引入如何影响临床文本中词向量的语义质量？
• RQ3 AWE-CM 方法是否在临床语义相似度任务中优于仅基于文本的词嵌入和非临床预训练向量？
• RQ4 来自医学本体的领域知识在多大程度上缓解了临床 NLP 中的数据稀缺问题？

主要发现

• 在 MiniMayoSRS 数据集上，AWE-CM 向量与医生标注的相似度判断达到 0.508 的斯皮尔曼等级相关系数，显著优于仅基于 MIMIC 的 word2vec 基线（0.442）。
• 在评审员的 MiniMayoSRS 列表上，AWE-CM 达到 0.514，超过仅基于 MIMIC 的 w2v 基线（0.572）和 Google 新闻基线（0.302）。
• AWE-CM 模型在所有评估集上均提升了与临床专家判断的相关性，表明整合 UMLS 元词汇表知识带来了稳定增益。
• 该提升完全归因于 (词, CUI) 上下文对的引入，因为 AWE-CM 和 MIMIC w2v 模型均使用相同的训练工具（WORD2VECF）和语料库。
• 即使训练数据量仅增加 11%（因 CUI 对），词向量的语义质量仍显著提升，表明 CUI 具有极高的信息密度。
• AWE-CM 向量在医生标注的相似度任务中表现最强，这与临床下游任务（如死亡率预测和诊断）最为相关。