[论文解读] CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation

Yusuke Tashiro, Jiaming Song+2 more|arXiv (Cornell University)|Jul 7, 2021

Mental Health Research Topics被引用 172

一句话总结

CSDI 引入一种条件分数基扩散方法用于概率性时间序列插补，通过自监督训练和基于注意力的架构利用观测值来超越现有方法。

ABSTRACT

The imputation of missing values in time series has many applications in healthcare and finance. While autoregressive models are natural candidates for time series imputation, score-based diffusion models have recently outperformed existing counterparts including autoregressive models in many tasks such as image generation and audio synthesis, and would be promising for time series imputation. In this paper, we propose Conditional Score-based Diffusion models for Imputation (CSDI), a novel time series imputation method that utilizes score-based diffusion models conditioned on observed data. Unlike existing score-based approaches, the conditional diffusion model is explicitly trained for imputation and can exploit correlations between observed values. On healthcare and environmental data, CSDI improves by 40-65% over existing probabilistic imputation methods on popular performance metrics. In addition, deterministic imputation by CSDI reduces the error by 5-20% compared to the state-of-the-art deterministic imputation methods. Furthermore, CSDI can also be applied to time series interpolation and probabilistic forecasting, and is competitive with existing baselines. The code is available at https://github.com/ermongroup/CSDI.

研究动机与目标

• 在医疗、环境和金融领域推动多变量时间序列在存在缺失值时的健壮插补。
• 开发一个条件扩散模型，使其学习用于插补的条件分布，而不是对其进行近似。
• 通过条件化和注意力机制利用观测数据捕捉时间与特征间的依赖性。
• 提供一个自监督训练框架，使在没有真实缺失值的情况下也能进行学习。
• 展示在插补、插值和概率预测方面的适用性，同时优于基线方法。

提出的方法

• 采用条件去噪扩散概率模型（DDPM），用条件去噪函数 epsilon_theta 明确建模 p(x_t-1^ta | x_t^ta, x_0^co)。
• 用 mu_theta 和 sigma_theta 参数化反向过程，其中 mu_theta 由使用 x_t^ta 与条件观测 x_0^co 的条件 DDPM 去噪器构建。
• 在训练中通过将观测值划分为插补目标和条件观测，借鉴掩码语言模型的自监督训练方案。
• 使用二维注意力机制（时间维 Transformer 与特征 Transformer）来捕捉时间序列数据中的时序和特征依赖。
• 提供包括时间嵌入和分类特征嵌入在内的辅信息，以增强时序和特征上下文。
• 允许零填充以固定输入空间，并引入条件掩码以指示观测索引，从而实现模型的固定形状条件。

实验结果

研究问题

• RQ1 条件扩散模型是否能够学习多变量时间序列中用于插补缺失值的精确条件分布？
• RQ2 对观测值进行条件化并使用自监督训练，是否能相比无条件扩散模型和自回归基线提升概率性与确定性插补？
• RQ3 与最先进方法相比，CSDI 在医疗和环境数据集上的概率插补、确定性插补、插值和预测表现如何？
• RQ4 哪些架构选项（注意力机制、辅信息、目标策略）对插补质量和效率影响最大？

主要发现

• CSDI 在概率性插补方面取得显著改进，在医疗和空气质量数据集上相比基线将 CRPS 降低了 40-65%。
• 使用 CSDI 的确定性插补相比最先进的确定性方法，MAE 降低了 5-20%。
• CSDI 对时间序列插值和概率预测效果良好，常与专门的基线相媲美或优于它们。
• 利用目标选择策略的自监督训练使在没有真实缺失值的情况下也能学习，从而实现鲁棒的条件建模。
• 明确的条件扩散框架在插补任务中比无条件扩展方法更好地利用观测数据。