[论文解读] Effective Representations of Clinical Notes

Sébastien Dubois, Nathanael Romano+3 more|arXiv (Cornell University)|May 19, 2017

Machine Learning in Healthcare参考文献 26被引用 12

一句话总结

本文提出一种基于迁移学习的临床笔记神经网络表示方法，旨在利用有限标注数据提升预测建模性能。通过在大型电子健康记录（EHR）语料库上使用预训练嵌入（GloVe）和循环神经网络（RNN），该方法学习到紧凑的、以患者为单位的表示向量，显著优于传统的词袋模型和主题模型，尤其在训练数据稀缺（N < 1000）时表现更优。

ABSTRACT

Clinical notes are a rich source of information about patient state. However, using them to predict clinical events with machine learning models is challenging. They are very high dimensional, sparse and have complex structure. Furthermore, training data is often scarce because it is expensive to obtain reliable labels for many clinical events. These difficulties have traditionally been addressed by manual feature engineering encoding task specific domain knowledge. We explored the use of neural networks and transfer learning to learn representations of clinical notes that are useful for predicting future clinical events of interest, such as all causes mortality, inpatient admissions, and emergency room visits. Our data comprised 2.7 million notes and 115 thousand patients at Stanford Hospital. We used the learned representations, along with commonly used bag of words and topic model representations, as features for predictive models of clinical events. We evaluated the effectiveness of these representations with respect to the performance of the models trained on small datasets. Models using the neural network derived representations performed significantly better than models using the baseline representations with small ($N &lt; 1000$) training datasets. The learned representations offer significant performance gains over commonly used baseline representations for a range of predictive modeling tasks and cohort sizes, offering an effective alternative to task specific feature engineering when plentiful labeled training data is not available.

研究动机与目标

• 解决从高维、稀疏的临床笔记中预测临床事件（如死亡率和住院）的挑战，尤其在标注数据有限的情况下。
• 通过学习数据驱动的、以患者为单位的临床笔记表示，减少对任务特定特征工程的依赖。
• 评估迁移学习是否能在低数据环境下，产生比标准基线方法（如词袋模型、主题模型）更高效的表示。
• 证明所学表示在极少定制化调整的情况下，可在多种临床预测任务中实现良好泛化。
• 评估在数据量增加时，将所学表示与传统特征（如宽深模型中的特征）结合的实用性。

提出的方法

• 采用两阶段迁移学习方法：在大规模临床笔记语料库（270万条笔记，11.5万名患者）上进行预训练，以学习有意义的表示。
• 应用‘嵌入并聚合’方法：将临床概念映射为稠密的GloVe嵌入，然后在笔记和患者层面进行平均，形成固定长度的患者向量。
• 使用循环神经网络（RNN）架构，联合学习概念、笔记和患者的表示，监督信号来自离散的诊断代码。
• 在每个患者的完整笔记序列上训练RNN，利用时间顺序捕捉临床进展和上下文信息。
• 将所学表示作为下游模型（如逻辑回归）的输入特征，用于目标任务（死亡率、住院、急诊就诊）的评估。
• 通过学习曲线比较不同表示方法的性能，评估模型准确率随训练集规模的变化。

实验结果

研究问题

• RQ1 当标注数据有限时，基于神经网络的临床笔记表示是否能提升对罕见临床事件的预测性能？
• RQ2 在低数据环境下，基于迁移学习的表示与传统基线方法（如词袋模型、LDA）相比表现如何？
• RQ3 当训练数据增加时，将所学表示与词袋特征结合是否能获得优于单一方法的性能？
• RQ4 所学表示在无需任务特定调优的情况下，能在多大程度上泛化到多种临床预测任务？
• RQ5 与简单基线方法相比，所学表示的性能随训练集规模增加的扩展性如何？

主要发现

• 当训练数据较小时（N < 1000名患者），基于神经网络的表示显著优于词袋模型和主题模型基线。
• RNN-based表示在所有任务和训练集规模下均表现最佳，尤其在低数据场景中优势明显。
• 更简单的‘嵌入并聚合’方法表现几乎与RNN方法相当，提供了性能与计算效率之间的良好权衡。
• 将RNN表示与词袋特征结合，在所有训练集规模下均带来一致的性能提升，优于任一单独组件。
• 当标注数据充足（N > 1000）时，使用TF-IDF加权的词袋模型达到或超过所学表示的性能，表明在大规模下迁移学习的收益递减。
• 评估中存在一定的乐观偏差（预测时间与未来事件对齐），但并不否定核心结论：在低数据设置下，所学表示比基线更有效。