[论文解读] Dual Control Memory Augmented Neural Networks for Treatment Recommendations

Hung Lê, Truyen Tran+1 more|arXiv (Cornell University)|Feb 11, 2018

Machine Learning in Healthcare被引用 4

一句话总结

本文提出了一种双控制器写保护内存增强神经网络（DCw-MANN），用于临床治疗推荐，将电子病历建模为序列输入以捕捉长期依赖关系。该方法在MIMIC-III数据集上的手术预测和药物处方任务中，均优于传统的词袋模型和序列到序列模型。

ABSTRACT

Machine-assisted treatment recommendations hold a promise to reduce physician time and decision errors. We formulate the task as a sequence-to-sequence prediction model that takes the entire time-ordered medical history as input, and predicts a sequence of future clinical procedures and medications. It is built on the premise that an effective treatment plan may have long-term dependencies from previous medical history. We approach the problem by using a memory-augmented neural network, in particular, by leveraging the recent differentiable neural computer that consists of a neural controller and an external memory module. But differing from the original model, we use dual controllers, one for encoding the history followed by another for decoding the treatment sequences. In the encoding phase, the memory is updated as new input is read; at the end of this phase, the memory holds not only the medical history but also the information about the current illness. During the decoding phase, the memory is write-protected. The decoding controller generates a treatment sequence, one treatment option at a time. The resulting dual controller write-protected memory-augmented neural network is demonstrated on the MIMIC-III dataset on two tasks: procedure prediction and medication prescription. The results show improved performance over both traditional bag-of-words and sequence-to-sequence methods.

研究动机与目标

• 解决使用电子病历（EMRs）进行临床治疗预测中的长期依赖问题。
• 克服现有方法将住院记录视为无序集合的局限性，忽略单次及多次就诊之间的序列模式。
• 开发一种专为医疗领域序列到序列预测设计的内存增强架构。
• 提升临床手术和药物推荐任务的预测准确率与学习效率。

提出的方法

• 将治疗推荐建模为序列到序列预测问题，使用完整的时间有序医疗病史作为输入。
• 通过引入两个控制器对可微神经计算机（DNC）进行改进：一个用于编码医疗病史，另一个用于解码治疗序列。
• 在解码阶段使用写保护内存机制，以保留编码阶段学习到的表示。
• 利用外部内存存储并检索跨多次住院的长期临床依赖关系。
• 采用端到端反向传播训练模型，双控制器分别学习编码与解码的独特策略。
• 使用嵌入表示医疗代码（诊断、操作、药物），并通过双控制器架构按顺序处理。

实验结果

研究问题

• RQ1 记忆增强神经网络能否有效建模序列化临床数据中的长期依赖关系，以支持治疗推荐？
• RQ2 与单控制器模型相比，使用双控制器（一个用于编码病史，一个用于解码治疗）是否能提升性能与学习速度？
• RQ3 在解码过程中对内存实施写保护，如何影响序列到序列临床建模中的预测准确率与稳定性？
• RQ4 DCw-MANN在临床序列预测任务中，相较于传统词袋模型和标准序列到序列模型，优势程度如何？

主要发现

• DCw-MANN模型在MIMIC-III数据集上的手术预测与药物处方任务中，均显著优于基线模型。
• 记忆增强模型显著优于标准序列到序列模型，尤其在药物处方任务中表现更优，因该任务输出序列更长且更复杂。
• 解码阶段的写保护内存机制提升了模型的稳定性和性能，尤其在长时序序列预测中优势明显。
• DCw-MANN在药物处方任务中收敛速度优于标准DNC，表明其学习效率更高。
• 该模型能有效捕捉单次就诊内及多次就诊间的序列依赖关系，保持时间顺序与临床上下文。
• 即使在对序列模型不利的指标设定下，DCw-MANN仍优于非序列基线模型，验证了其序列感知设计的有效性。