[论文解读] Medical Concept Embedding with Time-Aware Attention

Xiangrui Cai, Jinyang Gao+4 more|arXiv (Cornell University)|Jun 6, 2018

Machine Learning in Healthcare参考文献 18被引用 9

一句话总结

该论文在连续词袋（CBOW）框架内提出了一种时间感知注意力机制，用于学习融合动态、软性时间上下文的医疗概念嵌入。通过在每个医疗概念周围的时间段上建模注意力权重，该方法捕捉了可变的时间范围（如急性与慢性疾病），在公共和专有电子病历（EMR）数据集上的聚类和最近邻搜索任务中，优于五种最先进基线模型。

ABSTRACT

Embeddings of medical concepts such as medication, procedure and diagnosis codes in Electronic Medical Records (EMRs) are central to healthcare analytics. Previous work on medical concept embedding takes medical concepts and EMRs as words and documents respectively. Nevertheless, such models miss out the temporal nature of EMR data. On the one hand, two consecutive medical concepts do not indicate they are temporally close, but the correlations between them can be revealed by the time gap. On the other hand, the temporal scopes of medical concepts often vary greatly (e.g., extit{common cold} and extit{diabetes}). In this paper, we propose to incorporate the temporal information to embed medical codes. Based on the Continuous Bag-of-Words model, we employ the attention mechanism to learn a "soft" time-aware context window for each medical concept. Experiments on public and proprietary datasets through clustering and nearest neighbour search tasks demonstrate the effectiveness of our model, showing that it outperforms five state-of-the-art baselines.

研究动机与目标

• 解决现有医疗概念嵌入模型忽略电子病历中时间顺序和医疗状况持续时间可变性的局限性。
• 动态建模医疗概念的时间上下文，而非依赖固定大小的时间窗口。
• 通过注意力机制同时学习医疗概念表示和‘软性’时间范围。
• 通过更语义化和时间感知的嵌入，提升下游医疗分析任务（如聚类和最近邻搜索）的性能。

提出的方法

• 通过引入基于时间的注意力机制扩展CBOW模型，根据医疗概念与目标概念的时间接近程度分配不同权重。
• 每个医疗概念的上下文窗口由时间周期上的学习注意力权重定义，从而实现‘软性’时间范围，而非固定窗口。
• 注意力机制基于时间间隔计算上下文贡献，使急性疾病（如普通感冒）的影响持续时间较短，而慢性疾病（如糖尿病）的影响持续时间更长。
• 模型通过负采样进行端到端训练，以优化从时间加权上下文中预测中心医疗概念的目标。
• 时间范围定义为在目标概念前后若干时间单位（如周）的区间，注意力在这些时间单位上分布。
• 模型学会优先考虑时间上相关联的概念（如时间上接近的），同时降低远距离或无关概念的权重。

实验结果

研究问题

• RQ1 神经嵌入模型能否有效整合电子病历中的时间上下文，以改善医疗概念表示？
• RQ2 与固定窗口方法相比，对急性与慢性疾病等可变时间范围的建模如何影响嵌入质量？
• RQ3 基于注意力的软性时间上下文在电子病历数据的聚类和最近邻任务中，能在多大程度上提升性能？
• RQ4 该模型在真实电子病历数据中面对不同数据集规模和时间分布时，其鲁棒性如何？

主要发现

• 所提出的MCE模型在两个数据集（NUH2012和DE-SynPUF）上的聚类和最近邻搜索任务中，均优于五种最先进基线模型。
• 在DE-SynPUF数据集上，MCE在窗口大小不断增加时仍保持稳定性能，而CBOW和Skip-gram显著下降，表明其具有更好的可扩展性。
• 在NUH2012数据集上，MCE模型在30周时间上下文范围时达到性能峰值，表明其对一年期电子病历数据具有最优覆盖范围。
• 该模型在噪声和不同窗口大小下表现出更强的鲁棒性，尤其在高噪声场景下显著优于GloVe和wang2vec。
• 定性分析显示，注意力模式具有明显差异：慢性疾病影响稳定，急性疾病影响呈峰值特征，严重但罕见疾病则呈现后遗症影响模式。
• 注意力机制成功捕捉了临床有意义的时间动态，例如非创伤性脑实质出血对后续医疗编码的长期影响。