[论文解读] Transfer Learning for Clinical Time Series Analysis using Recurrent Neural Networks

Priyanka Gupta, Pankaj Malhotra+2 more|arXiv (Cornell University)|Jul 4, 2018

Machine Learning in Healthcare参考文献 29被引用 18

一句话总结

本文提出一种迁移学习框架，利用多任务预训练RNN提取通用临床时间序列特征，用于下游任务中标签数据有限的情况。通过在MIMIC-III数据集的多个患者表型上训练RNN，模型学习到可迁移的表征，当与简单线性分类器结合时，其性能优于或等同于特定任务的RNN——尤其在数据稀缺条件下表现更优。

ABSTRACT

Deep neural networks have shown promising results for various clinical prediction tasks such as diagnosis, mortality prediction, predicting duration of stay in hospital, etc. However, training deep networks -- such as those based on Recurrent Neural Networks (RNNs) -- requires large labeled data, high computational resources, and significant hyperparameter tuning effort. In this work, we investigate as to what extent can transfer learning address these issues when using deep RNNs to model multivariate clinical time series. We consider transferring the knowledge captured in an RNN trained on several source tasks simultaneously using a large labeled dataset to build the model for a target task with limited labeled data. An RNN pre-trained on several tasks provides generic features, which are then used to build simpler linear models for new target tasks without training task-specific RNNs. For evaluation, we train a deep RNN to identify several patient phenotypes on time series from MIMIC-III database, and then use the features extracted using that RNN to build classifiers for identifying previously unseen phenotypes, and also for a seemingly unrelated task of in-hospital mortality. We demonstrate that (i) models trained on features extracted using pre-trained RNN outperform or, in the worst case, perform as well as task-specific RNNs; (ii) the models using features from pre-trained models are more robust to the size of labeled data than task-specific RNNs; and (iii) features extracted using pre-trained RNN are generic enough and perform better than typical statistical hand-crafted features.

研究动机与目标

• 解决在训练深度RNN进行医疗预测任务时，临床时间序列标签数据有限的挑战。
• 减少从零开始训练特定任务RNN所导致的大量超参数调优和高计算成本。
• 探究在多样化临床任务上预训练的RNN所学习到的特征，是否能有效泛化至新的、无关的下游任务。
• 评估在不同规模标签训练数据下，基于迁移学习的模型的鲁棒性。
• 证明预训练RNN特征在临床时间序列分类任务中可超越传统手工设计的统计特征。

提出的方法

• 使用来自MIMIC-III数据库的大规模标签数据集，对单一深度RNN在多个二分类任务（表型识别）上进行预训练。
• 利用训练好的RNN从新时间序列样本中提取网络最后隐藏层的高层表征（特征）。
• 将这些特征迁移用于训练简单线性模型（逻辑回归），以解决新目标任务，如识别新型表型或预测院内死亡率。
• 通过使用完整和缩减的训练数据子集来评估模型在数据稀缺情况下的鲁棒性。
• 将基于预训练特征的迁移学习模型性能，与特定任务RNN及使用手工特征的传统逻辑回归进行比较。
• 分析特征重要性与稀疏性，以理解哪些学习到的特征对新任务的分类决策贡献最大。

实验结果

研究问题

• RQ1 在标签数据有限的情况下，一个在多个临床表型任务上预训练的单一RNN是否能泛化至新出现的、未见过的表型？
• RQ2 当训练数据稀缺时，基于预训练RNN特征的迁移学习模型性能与特定任务RNN相比如何？
• RQ3 从预训练RNN中提取的特征是否能有效泛化至看似无关的临床任务，如院内死亡率预测？
• RQ4 预训练RNN学习到的表征与传统手工设计的统计特征相比，在预测性能上表现如何？
• RQ5 预训练RNN中不同隐藏层对下游任务泛化性能的贡献如何？

主要发现

• 当使用完整训练数据时，基于预训练RNN特征训练的模型（MN-LR）性能优于或等同于特定任务RNN。
• 随着标签训练集规模减小，MN-LR模型的性能下降更平缓，表现出对数据稀缺更强的鲁棒性。
• 在小规模训练集下，MN-LR的性能优于RNN-C和传统逻辑回归，表明迁移学习可有效缓解过拟合。
• 预训练RNN特征能良好泛化至无关任务：MN-LR在院内死亡率预测任务上的表现与RNN-C相当或更优，表明特征具有强泛化能力。
• 仅一小部分特征（如300个中的130个）在各类任务中具有相关性，表明尽管输入维度高，模型仍学习到稀疏且信息丰富的表征。
• RNN的低层特征对死亡率预测任务的贡献大于对表型识别任务的贡献，表明低层更可能捕捉到通用且可迁移的模式。