[论文解读] Combining LSTM and Latent Topic Modeling for Mortality Prediction

Yohan Jo, Lisa Lee+1 more|arXiv (Cornell University)|Sep 8, 2017

Machine Learning in Healthcare参考文献 11被引用 25

一句话总结

本文提出了一种联合LSTM-主题建模架构，将长短期记忆网络与受约束的潜在主题模型相结合，以利用临床记录提高ICU患者死亡率预测的准确性。与基于LDA的基线模型相比，该模型在预测准确率上显著更优，但由于多条记录输入中的噪声，从神经网络权重中学习到的主题缺乏可解释性。

ABSTRACT

There is a great need for technologies that can predict the mortality of patients in intensive care units with both high accuracy and accountability. We present joint end-to-end neural network architectures that combine long short-term memory (LSTM) and a latent topic model to simultaneously train a classifier for mortality prediction and learn latent topics indicative of mortality from textual clinical notes. For topic interpretability, the topic modeling layer has been carefully designed as a single-layer network with constraints inspired by LDA. Experiments on the MIMIC-III dataset show that our models significantly outperform prior models that are based on LDA topics in mortality prediction. However, we achieve limited success with our method for interpreting topics from the trained models by looking at the neural network weights.

研究动机与目标

• 开发一种深度学习框架，结合序列建模与可解释的主题发现，用于ICU死亡率预测。
• 通过利用临床记录中的时间依赖性，提升现有基于LDA模型的预测准确率。
• 设计一种受LDA启发的约束性神经主题模型，以增强与死亡率相关主题的可解释性。
• 探究神经网络权重是否能生成与LDA相当的有意义且连贯的主题。
• 识别主题可解释性的局限性，并提出数据预处理策略以提升主题质量。

提出的方法

• 采用双编码器架构：LSTM层处理序列临床记录以进行死亡率预测，而主题建模层则从相同记录中学习潜在主题分布。
• 采用受约束的单层网络进行主题建模，受LDA启发，以确保主题的一致性与可解释性。
• 探索三种模型变体：仅编码器（Encoder-only）、编码器+解码器（Encoder+Decoder）以及编码器+转换器+解码器（Encoder+Transcoder+Decoder），复杂度逐步增加，并引入类似LDA的稀疏性约束。
• 应用t-SNE可视化方法，比较本模型与LDA所得的潜在文档向量聚类，评估主题质量。
• 采用基于梯度的显著性分析，识别对每个LSTM隐藏节点影响最大的词语，旨在解释预测特征。
• 提出数据预处理步骤——去除罕见词/高频词并修正1个字符的拼写错误——以提升模型中高权重词语的可解释性。

实验结果

研究问题

• RQ1 与基于LDA的模型相比，联合LSTM-主题建模架构是否能提升死亡率预测的准确率？
• RQ2 神经网络权重在主题建模层中能在多大程度上生成与LDA相当的、可解释且连贯的主题？
• RQ3 从聚类质量角度看，本模型的潜在文档表示与LDA主题相比如何？
• RQ4 单个词语在多大程度上影响LSTM隐藏状态？它们是否可用于识别与死亡率相关的预测性术语？
• RQ5 诸如拼写纠正和词汇过滤等预处理技术是否能提升从模型权重中获得的主题可解释性？

主要发现

• 所提出的模型在MIMIC-III数据集上的死亡率预测准确率显著优于基线的LDA模型。
• 编码器+转换器+解码器（Encoder+Transcoder+Decoder）变体生成的主题聚类比仅编码器（Encoder-only）模型更接近LDA主题，表明主题一致性更好。
• 与高权重节点相关的关键词多为拼写错误或罕见词，表明所学主题的可解释性较差。
• t-SNE可视化显示，LSTM+E+D模型生成的文档向量聚类比LSTM+E模型更接近LDA聚类，支持其主题质量的提升。
• 模型性能受限于噪声较大的输入数据——特别是来自同一时间点的多种类型、异质性临床记录的拼接。
• 建议通过去除罕见词/高频词及修正1个字符的拼写错误等预处理步骤，以提升模型中高权重词语的可解释性。