[论文解读] A Comprehensive Evaluation of Multi-task Learning and Multi-task Pre-training on EHR Time-series Data

Matthew B. A. McDermott, Bret Nestor+5 more|arXiv (Cornell University)|Jul 20, 2020

Machine Learning in Healthcare参考文献 58被引用 10

一句话总结

本文评估了在电子健康记录（EHR）时间序列数据上进行多任务学习（MTL）和多任务预训练的效果，提出在多个任务上进行预训练，随后在单一任务上微调，可显著提升性能，尤其是在少样本学习场景下，尽管标准MTL中普遍存在负面迁移现象。该方法提升了模型在低数据医疗环境下的泛化能力和鲁棒性。

ABSTRACT

Multi-task learning (MTL) is a machine learning technique aiming to improve model performance by leveraging information across many tasks. It has been used extensively on various data modalities, including electronic health record (EHR) data. However, despite significant use on EHR data, there has been little systematic investigation of the utility of MTL across the diverse set of possible tasks and training schemes of interest in healthcare. In this work, we examine MTL across a battery of tasks on EHR time-series data. We find that while MTL does suffer from common negative transfer, we can realize significant gains via MTL pre-training combined with single-task fine-tuning. We demonstrate that these gains can be achieved in a task-independent manner and offer not only minor improvements under traditional learning, but also notable gains in a few-shot learning context, thereby suggesting this could be a scalable vehicle to offer improved performance in important healthcare contexts.

研究动机与目标

• 系统评估多任务学习（MTL）在EHR时间序列数据上应用于多种临床任务的有效性。
• 探究MTL是否能够缓解医疗机器学习中常见的数据稀缺问题。
• 评估MTL预训练是否能提升少样本学习中的性能，并降低对人群不平衡的敏感性。
• 识别MTL导致负面迁移与提供持续性能增益的条件。
• 建立在临床时间序列建模中应用MTL的最佳实践。

提出的方法

• 作者在N个临床任务上使用共享编码器和任务特定解码器，采用多种训练范式：单任务（ST）、多任务（MT）以及微调变体（FTD、FTF）。
• 实施两阶段训练策略：在除目标任务外的所有任务上进行预训练，随后在目标任务上进行微调。
• 研究在11项不同的EHR任务上评估模型，包括死亡率、再入院率、住院时长和ICD编码预测，使用真实世界的时间序列数据。
• 在全数据和少样本学习设置下，通过AUC和ACU指标衡量性能，训练数据比例从0.2%到56.2%不等。
• 分析比较了标准MTL、单任务学习以及预训练/微调策略在两种架构（线性与自注意力）上的表现。
• 通过比较不同任务组合的性能，评估负面迁移，尤其关注差异较大或罕见的任务。

实验结果

研究问题

• RQ1 在EHR时间序列数据中，传统上研究的临床任务之间负面迁移的普遍程度如何？
• RQ2 多任务学习是否能在多种临床任务上持续提升性能？
• RQ3 在少样本学习场景中，多任务预训练后微调是否能带来性能增益？
• RQ4 多任务预训练能否降低模型在不同人口群体中的不平衡敏感性？

主要发现

• 在标准多任务学习中，负面迁移普遍存在，传统MTL通常无法在多种EHR任务上提升性能。
• 在所有评估任务中，多任务预训练后进行单任务微调的表现始终优于标准单任务和多任务训练。
• 预训练/微调方法在少样本学习中带来显著性能增益，10%训练数据时提升达5.6 AUC点，31.6%数据时提升达17.8 AUC点。
• 该方法实现了与任务无关的性能增益，表明其在低数据临床AI场景中具有广泛适用性。
• 尽管在少样本学习中表现优异，但未观察到在减少对人口子群不平衡敏感性方面有显著改善。
• 预训练带来的增益在两种架构（线性和自注意力）中均表现稳健，表明该方法具有良好的泛化能力。