[论文解读] Modeling Temporal Data as Continuous Functions with Stochastic Process Diffusion
本文提出了一种去噪扩散模型，通过在函数空间中使用随机过程建模噪声添加与去除过程，将时间数据视为连续函数。该方法实现了对不规则采样时间序列的不确定性量化、概率预测与插补，并在合成数据集和真实世界数据集上优于基线模型，提升了不确定性校准与平滑性。
Temporal data such as time series can be viewed as discretized measurements of the underlying function. To build a generative model for such data we have to model the stochastic process that governs it. We propose a solution by defining the denoising diffusion model in the function space which also allows us to naturally handle irregularly-sampled observations. The forward process gradually adds noise to functions, preserving their continuity, while the learned reverse process removes the noise and returns functions as new samples. To this end, we define suitable noise sources and introduce novel denoising and score-matching models. We show how our method can be used for multivariate probabilistic forecasting and imputation, and how our model can be interpreted as a neural process.
研究动机与目标
- 将不规则采样时间序列建模为连续函数，而非离散点。
- 开发一种在噪声添加与去噪过程中保持函数连续性的生成模型。
- 通过函数空间扩散实现多变量概率预测与缺失数据插补。
- 将模型解释为神经过程，实现从观测上下文点进行条件函数生成。
- 相比先前方法，提升时间序列建模中的不确定性估计与平滑性。
提出的方法
- 前向过程通过随机过程（如高斯过程或Ornstein-Uhlenbeck过程）向整个函数添加噪声，保持连续性。
- 反向过程通过评分匹配目标学习从纯噪声中逐步去噪，恢复为数据分布的函数。
- 噪声通过时间相关的随机过程添加，最终的噪声函数服从已知的随机过程分布。
- 模型采用基于时间与上下文点条件的去噪U-Net架构，预测每一步的噪声。
- 训练目标基于函数空间扩散的似然函数变分下界推导得出。
- 采样通过从先验随机过程样本出发，利用学习到的反向过程逐步去噪完成。
实验结果
研究问题
- RQ1能否在函数空间中有效定义扩散模型，以生成具有适当不确定性量化的连续时间序列？
- RQ2如何利用随机过程作为噪声源，以在去噪过程中保持函数连续性？
- RQ3所提方法能否在不规则采样时间序列的概率预测与插补任务中超越现有模型？
- RQ4模型性能如何随底层随机过程中核函数选择的变化而变化？
- RQ5该模型能否被解释为神经过程，从而实现从观测上下文点进行条件函数生成？
主要发现
- 在合成GP数据上，模型的分位数损失为0.737，优于真实GP基线（0.845），表明其不确定性捕捉准确。
- 在PhysioNet数据集上，模型在10%缺失率下平均将插补RMSE降低4.2%（0.498 vs. 0.520），具有统计显著性。
- 模型生成的函数样本平滑且合理，能反映真实潜在过程，尤其在使用RBF或OU核时表现更优。
- 模型在外推任务中泛化能力良好，其均值与方差行为与GP一致，即使激活函数饱和也保持稳定。
- 模型的不确定性估计比注意力神经过程更准确，后者未能捕捉正确的不确定性模式。
- 无论核函数平滑性如何，模型均能保持正确的边缘分布，而噪声过程参数则控制样本的平滑性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。