[论文解读] Probabilistic Imputation for Time-series Classification with Missing Data

Seung-Hyun Kim, Hyun‐Su Kim+4 more|arXiv (Cornell University)|Aug 13, 2023

Time Series Analysis and Forecasting被引用 5

一句话总结

本文提出了一种用于带缺失数据的多元时间序列分类的概率深度学习框架，结合了在MNAR假设下的深度生成模型与考虑插补不确定性的分类器。通过引入一种新颖的obsdropout正则化技术，该模型避免了平凡插补，并在真实世界数据集上实现了插补准确率和分类鲁棒性的最先进性能。

ABSTRACT

Multivariate time series data for real-world applications typically contain a significant amount of missing values. The dominant approach for classification with such missing values is to impute them heuristically with specific values (zero, mean, values of adjacent time-steps) or learnable parameters. However, these simple strategies do not take the data generative process into account, and more importantly, do not effectively capture the uncertainty in prediction due to the multiple possibilities for the missing values. In this paper, we propose a novel probabilistic framework for classification with multivariate time series data with missing values. Our model consists of two parts; a deep generative model for missing value imputation and a classifier. Extending the existing deep generative models to better capture structures of time-series data, our deep generative model part is trained to impute the missing values in multiple plausible ways, effectively modeling the uncertainty of the imputation. The classifier part takes the time series data along with the imputed missing values and classifies signals, and is trained to capture the predictive uncertainty due to the multiple possibilities of imputations. Importantly, we show that naïvely combining the generative model and the classifier could result in trivial solutions where the generative model does not produce meaningful imputations. To resolve this, we present a novel regularization technique that can promote the model to produce useful imputation values that help classification. Through extensive experiments on real-world time series data with missing values, we demonstrate the effectiveness of our method.

研究动机与目标

• 为解决缺乏联合建模缺失数据插补与分类的的概率框架的问题。
• 克服启发式插补方法忽略缺失值中不确定性与生成过程的局限性。
• 开发一种在MNAR假设下能生成有意义且多样的插补结果的模型，同时支持不确定性感知分类。
• 解决端到端训练中生成模型产生任意插补的平凡解问题。
• 通过显式地使用obsdropout正则化生成模型，提升分类性能与不确定性校准。

提出的方法

• 在MNAR假设下训练深度生成模型，以对多元时间序列中的缺失值生成多个合理插补。
• 分类器通过聚合多个插补样本的预测结果进行训练，从而捕捉插补变异性带来的不确定性。
• 引入一种新颖的obsdropout正则化技术，即在训练过程中随机屏蔽观测值，以迫使生成模型产生有用的插补。
• 模型使用基于Transformer的编码器和解码器，以有效捕捉时间序列中的时序依赖性和结构模式。
• 通过在类别标签上使用监督信号，联合优化生成模型与分类器，确保插补与分类之间的一致性。
• MNAR假设使模型能够显式建模缺失性对观测值与未观测值的依赖关系。

Figure 1 : An overview of our model with obsdropout.

实验结果

研究问题

• RQ1 联合的概率框架在时间序列插补与分类上是否能优于启发式插补方法，在分类准确率与不确定性校准方面表现更优？
• RQ2 当真实值不可用时，如何训练深度生成模型以生成有意义的插补？
• RQ3 何种正则化策略能有效防止生成模型在端到端训练中产生平凡或任意的插补？
• RQ4 在真实世界多元时间序列数据上，结合多个插补的不确定性在多大程度上能提升分类鲁棒性？
• RQ5 所提出的obsdropout正则化与标准训练相比，在生成真实且具有判别力的插补方面表现如何？

主要发现

• 在PhysioNet 2012数据集上，所提方法实现了最低的MAE（0.367）与MRE（0.526），优于SAITS（0.653 MAE，0.942 MRE）与GP-VAE（0.439 MAE，0.630 MRE）。
• 在MIMIC-III数据集上，模型实现了MAE为0.149、MRE为0.451，优于前向插补（0.151 MAE，0.459 MRE）及其他基线方法。
• 消融实验表明，obsdropout与MNAR假设显著提升了插补质量，表现为消融设置下MAE与MRE更低。
• 采用Transformer编码器与解码器的模型生成了更平滑、更真实的插补轨迹，尤其在缺失数据区域表现更优。
• 使用多个插补进行训练的分类器相比使用单个插补的模型，表现出更高的鲁棒性与更好的不确定性校准。
• 即使在没有显式插补监督的情况下，模型仍取得了具有竞争力的性能（PhysioNet上MAE: 0.376，MRE: 0.541），表明obsdropout正则化的有效性。

Figure 2 : Plots of ${\boldsymbol{\mu}}_{\text{dec}}(\boldsymbol{z}_{1:t}),{\boldsymbol{\sigma}}^{2}_{\text{dec}}(\boldsymbol{z}_{1:t})$ . ( Left ) Our model with MLP encoder and MLP decoder. ( Right ) Our model trained with obsdropout with a rate of 0.4. Since MLP architecture does not take the tem