[论文解读] Interpolation-Prediction Networks for Irregularly Sampled Time Series

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|Sep 13, 2019

Time Series Analysis and Forecasting被引用 30

一句话总结

本文提出插值-预测网络（Interpolation-Prediction Networks），一种用于稀疏且不规则采样多变量时间序列的监督学习深度学习框架。该方法使用半参数插值网络联合建模整体趋势、瞬态事件和观测强度，随后通过基于GRU的预测网络，实现在MIMIC-III数据集上死亡率分类与住院时长回归任务的最先进性能，相较于先前方法具有统计显著的提升。

ABSTRACT

In this paper, we present a new deep learning architecture for addressing the problem of supervised learning with sparse and irregularly sampled multivariate time series. The architecture is based on the use of a semi-parametric interpolation network followed by the application of a prediction network. The interpolation network allows for information to be shared across multiple dimensions of a multivariate time series during the interpolation stage, while any standard deep learning model can be used for the prediction network. This work is motivated by the analysis of physiological time series data in electronic health records, which are sparse, irregularly sampled, and multivariate. We investigate the performance of this architecture on both classification and regression tasks, showing that our approach outperforms a range of baseline and recently proposed models.

研究动机与目标

• 为解决电子病历（EHR）中常见的稀疏且不规则采样多变量时间序列的监督学习挑战。
• 开发一种模块化深度学习架构，避免基于高斯过程插值的计算复杂性，同时保留时间序列维度间的信息。
• 通过半参数插值网络显式建模多种时间尺度——整体趋势、短期瞬态事件与观测频率。
• 在真实世界EHR数据集上的分类与回归任务中，超越现有最先进模型的性能。

提出的方法

• 该架构采用具有前馈层的半参数插值网络来建模多变量时间序列，实现在插值过程中跨输入通道的信息共享。
• 插值网络为每个输入生成三条独立的时间序列输出：平滑插值（整体趋势）、瞬态插值（短时事件）和强度函数（观测频率）。
• 强度函数采用半参数化、非参数化的观测时间表示方法，受点过程建模的启发。
• 输出结果输入至基于GRU的预测网络，用于下游分类与回归任务。
• 整个模型通过结合监督损失与无监督损失的复合目标函数进行端到端训练。
• 插值网络避免了高斯过程所需的正定协方差矩阵约束，从而实现更快、更具可扩展性的训练。

实验结果

研究问题

• RQ1 模块化、端到端的深度学习框架是否能在稀疏且不规则采样多变量时间序列的学习中超越现有模型？
• RQ2 将时间序列显式分解为整体趋势、瞬态事件与观测强度，是否能提升预测性能？
• RQ3 在分类与回归任务中，各信息通道（平滑、瞬态、强度）对模型性能的贡献程度如何？
• RQ4 所提出的插值网络是否在保持计算效率的同时，优于基于高斯过程的基线模型？
• RQ5 该模型是否能在不同EHR任务（如死亡率预测与住院时长回归）中实现良好泛化？

主要发现

• 在MIMIC-III死亡率分类任务中，该模型取得了最高的AUC（0.853 ± 0.007）与AUPRC（0.418 ± 0.022），显著优于所有基线模型（p < 0.01）。
• 在住院时长回归任务中，该模型实现了最低的中位数绝对误差（2.862 ± 0.166天）与最高的可解释方差（0.245 ± 0.019），相较于所有基线模型具有统计显著的改进。
• 消融实验表明，仅使用瞬态与强度函数输出可进一步提升回归性能，表明这两个组件对任务最具信息量。
• 与高斯过程适配器（Li & Marlin, 2016）相比，该模型在训练时间上实现了50倍的速度提升，同时性能相当或更优。
• 在Harutyunyan等人（2017）的基准数据集上，该模型再次超越先前方法，证实其在不同数据队列中的泛化能力。