[论文解读] GRAM: Graph-based Attention Model for Healthcare Representation Learning

Edward Choi, Mohammad Taha Bahadori+3 more|arXiv (Cornell University)|Nov 21, 2016

Machine Learning in Healthcare参考文献 28被引用 99

一句话总结

GRAM 将医学本体整合到基于图的注意力机制中，形成对 EHR 数据鲁棒且可解释的叶编码表示，在数据稀缺条件下提升预测性能。

ABSTRACT

Deep learning methods exhibit promising performance for predictive modeling in healthcare, but two important challenges remain: -Data insufficiency:Often in healthcare predictive modeling, the sample size is insufficient for deep learning methods to achieve satisfactory results. -Interpretation:The representations learned by deep learning methods should align with medical knowledge. To address these challenges, we propose a GRaph-based Attention Model, GRAM that supplements electronic health records (EHR) with hierarchical information inherent to medical ontologies. Based on the data volume and the ontology structure, GRAM represents a medical concept as a combination of its ancestors in the ontology via an attention mechanism. We compared predictive performance (i.e. accuracy, data needs, interpretability) of GRAM to various methods including the recurrent neural network (RNN) in two sequential diagnoses prediction tasks and one heart failure prediction task. Compared to the basic RNN, GRAM achieved 10% higher accuracy for predicting diseases rarely observed in the training data and 3% improved area under the ROC curve for predicting heart failure using an order of magnitude less training data. Additionally, unlike other methods, the medical concept representations learned by GRAM are well aligned with the medical ontology. Finally, GRAM exhibits intuitive attention behaviors by adaptively generalizing to higher level concepts when facing data insufficiency at the lower level concepts.

研究动机与目标

• 在数据不足的情况下激发用于医疗预测的深度学习，以及需要与医学知识对齐的可解释表示。
• 利用分层的医学本体来丰富叶子医学概念的表示。
• 开发一个端到端可训练的注意力机制，根据数据驱动的相容性分数将叶子概念与祖先概念结合起来。

提出的方法

• 使用注意力机制将叶子医学编码表示为其嵌入及其祖先嵌入的凸组合。
• 通过一个只有1个隐藏层的多层感知机定义兼容性函数 f(ei, ej)，以计算对祖先的注意力权重。
• 将注意力模块与预测神经网络（RNN/GRU/GRU 变体）端到端训练，用于疾病发作任务。
• 使用包含祖先的增强访问的基于 GloVe 派生的共现嵌入初始化叶子节点和非叶子节点的基本嵌入。
• 通过将叶子-祖先嵌入矩阵与多热编码的就诊向量相乘，将就诊嵌入并输入到 RNN 以进行预测。
• 将 GRAM 变体与 RNN 基线和消融比较，覆盖连续诊断预测和心力衰竭发作任务。

实验结果

研究问题

• RQ1 相比于标准 RNN，GRAM 是否能够在训练数据中较少出现的疾病上提高预测准确性？
• RQ2 本体信息驱动的叶子表示是否与医学知识对齐，且能通过注意力模式解释？
• RQ3 在数据可用性变化和不同医疗数据集（Sutter PAMF、MIMIC-III、Sutter HF 队列）上，GRAM 的表现如何？
• RQ4 用本体感知共现（GloVe）初始化叶子/非叶子嵌入对下游任务有什么影响？

主要发现

• GRAM 在罕见疾病上的准确率比基础 RNN 高出最多 10%。
• 在显著更少的训练数据下，GRAM 将心力衰竭预测的 AUC 提升至多 3%。
• 本体信息驱动的叶子表示与医学知识对齐，表现出可解释的注意力，当数据稀缺时通过增加对祖先的权重来适应数据可用性。
• 使用本体感知共现（GRAM+）初始化基本嵌入在顺序诊断预测方面尤为明显，表现与或优于原始方法。
• GRAM 增加了适度的训练开销（每个时代约多花费 50% 的时间），但在数据稀缺条件下带来更好的性能。