[论文解读] Explicit-Blurred Memory Network for Analyzing Patient Electronic Health Records

Prithwish Chakraborty, Fei Wang+2 more|arXiv (Cornell University)|Nov 15, 2019

Machine Learning in Healthcare参考文献 15被引用 4

一句话总结

本文提出EBmRNN，一种用于电子健康记录（EHR）分析的新颖记忆网络，其将外部记忆划分为显式和模糊两部分：前者存储精确的近期事件以增强可解释性，后者累积抽象化的过去特征以稳定训练。该模型在ICU预测任务上达到最先进性能，同时通过可追溯的记忆访问实现对模型决策的清晰解释。

ABSTRACT

In recent years, we have witnessed an increased interest in temporal modeling of patient records from large scale Electronic Health Records (EHR). While simpler RNN models have been used for such problems, memory networks, which in other domains were found to generalize well, are underutilized. Traditional memory networks involve diffused and non-linear operations where influence of past events on outputs are not readily quantifiable. We posit that this lack of interpretability makes such networks not applicable for EHR analysis. While networks with explicit memory have been proposed recently, the discontinuities imposed by the discrete operations make such networks harder to train and require more supervision. The problem is further exacerbated in the limited data setting of EHR studies. In this paper, we propose a novel memory architecture that is more interpretable than traditional memory networks while being easier to train than explicit memory banks. Inspired by well-known models of human cognition, we propose partitioning the external memory space into (a) a primary explicit memory block to store exact replicas of recent events to support interpretations, followed by (b) a secondary blurred memory block that accumulates salient aspects of past events dropped from the explicit block as higher level abstractions and allow training with less supervision by stabilize the gradients. We apply the model for 3 learning problems on ICU records from the MIMIC III database spanning millions of data points. Our model performs comparably to the state-of the art while also, crucially, enabling ready interpretation of the results.

研究动机与目标

• 解决传统用于EHR分析的记忆网络中缺乏可解释性的问题，其中过去事件的影响被扩散且不透明。
• 通过引入次级模糊记忆以缓解仅使用显式记忆模型的训练不稳定性与高监督需求，提升梯度稳定性。
• 通过精确记忆槽追踪实现模型可解释性，同时保持与最先进架构相当的泛化能力与性能。
• 在低数据量的EHR场景中，通过模拟人类记忆结构（感觉记忆、显式记忆、长期记忆）实现可解释性与可训练性的平衡。
• 证明显式记忆访问模式可用于解释临床预测任务（如死亡率预测与表型识别）中的模型决策。

提出的方法

• 将外部记忆划分为两个独立模块：主显式记忆，用于存储近期输入事件的精确、未经修改的副本，以实现可追溯性。
• 引入次级模糊记忆，用于累积已不在显式记忆中的过去事件的高层次抽象，作为训练过程中的稳定、连续记忆。
• 使用门控记忆控制器（基于GRU）在每个时间步动态决定从哪个记忆模块读取，显式记忆与模糊记忆分别使用独立的注意力门控。
• 对显式记忆的读取门控应用固定温度的Gumbel-Softmax重参数化，即使在类似离散行为下也能实现可微训练。
• 使用带有动量的SGD进行训练，并采用梯度裁剪；超参数（记忆大小、控制器大小、读取次数）针对每项任务通过验证集进行调优。
• 以Atkinson-Shiffrin认知模型为灵感，构建记忆层次结构，使其模拟人类的感觉记忆、短期记忆与长期记忆过程。

实验结果

研究问题

• RQ1 结合显式与模糊记忆组件的记忆网络架构，是否能在EHR分类任务中实现最先进性能，同时支持可解释的模型决策？
• RQ2 显式记忆的使用如何提升临床预测任务（如院内死亡率与表型识别）中的模型可解释性？
• RQ3 模糊记忆在稳定训练与提升泛化能力方面发挥何种作用，尤其在EHR研究中常见的低数据设置下？
• RQ4 不同任务中的读取门控动态有何差异？它们揭示了模型对显式记忆与抽象化记忆表征的依赖程度如何？
• RQ5 所提出的架构是否能在保持更高可解释性的同时，超越或匹配复杂模型（如多层Transformer）的性能？

主要发现

• EBmRNN在仅使用单层GRU控制器的情况下，在三项ICU预测任务上实现了与最先进模型（包括多层Transformer架构）相当的AUC-ROC得分。
• 显式记忆实现了对输入事件的完整可追溯性，可视化显示关键事件在显式槽中被长期保留，直至被转移至模糊记忆。
• 读取门控动态揭示了任务特异性的记忆使用模式：表型识别任务中对显式记忆的依赖更高，而院内死亡率预测任务中两类记忆的使用更为均衡。
• 模糊记忆显著提升了训练稳定性；无模糊记忆的模型（如EmRNN）出现梯度爆炸问题，且需要更高监督，导致训练更加困难。
• 尽管显式记忆具有优势，但模糊记忆在复杂任务（如院内死亡率预测）中不可或缺，因为抽象化的长期模式对性能至关重要。
• 通过分析具体过去事件（通过显式记忆槽）对预测的贡献程度，模型的可解释性得到增强，支持在临床场景中进行事后解释。