[论文解读] Modeling Irregular Time Series with Continuous Recurrent Units

Mona Schirmer, Mazin Eltayeb+2 more|arXiv (Cornell University)|Nov 22, 2021

Machine Learning in Healthcare参考文献 22被引用 8

一句话总结

本文提出连续循环单元（CRUs），一种通过将线性随机微分方程与连续-离散卡尔曼滤波器结合，实现精确、闭式隐藏状态传播的神经架构，用于建模非均匀采样时间序列。该方法在基于神经ODE的模型上实现了更优的插值性能，并通过不确定性感知门控机制处理噪声或部分观测输入，其快速实现（f-CRU）支持高效训练。

ABSTRACT

Recurrent neural networks (RNNs) are a popular choice for modeling sequential data. Modern RNN architectures assume constant time-intervals between observations. However, in many datasets (e.g. medical records) observation times are irregular and can carry important information. To address this challenge, we propose continuous recurrent units (CRUs) -- a neural architecture that can naturally handle irregular intervals between observations. The CRU assumes a hidden state, which evolves according to a linear stochastic differential equation and is integrated into an encoder-decoder framework. The recursive computations of the CRU can be derived using the continuous-discrete Kalman filter and are in closed form. The resulting recurrent architecture has temporal continuity between hidden states and a gating mechanism that can optimally integrate noisy observations. We derive an efficient parameterization scheme for the CRU that leads to a fast implementation f-CRU. We empirically study the CRU on a number of challenging datasets and find that it can interpolate irregular time series better than methods based on neural ordinary differential equations.

研究动机与目标

• 为解决离散RNN在建模非均匀采样时间序列时的局限性，即其假设时间间隔均匀且损失时间连续性。
• 开发一种能够通过连续时间动力学建模隐藏状态演化的循环架构，自然处理非均匀观测间隔。
• 利用卡尔曼滤波将不确定性量化整合到门控机制中，实现对噪声或部分观测输入的最优融合。
• 实现状态传播与更新的闭式解，避免使用数值ODE求解器，从而减少训练时间。

提出的方法

• CRU使用线性随机微分方程（SDE）建模隐藏状态演化，确保观测之间的时序连续性。
• 卡尔曼滤波器提供状态传播与观测融合的解析解，实现无需数值近似的精确计算。
• 编码器-解码器框架将输入观测映射到由SDE控制的潜在空间，卡尔曼滤波器用于在每次观测时间更新潜在状态。
• 提出一种基于特征分解的转移矩阵参数化方法，实现更高效的f-CRU实现，降低计算开销。
• 门控机制具有概率基础，利用卡尔曼增益根据观测的不确定性与可靠性，最优地加权新输入。
• 该架构支持不确定性感知推理，使模型能根据输入质量与观测频率动态调整预测置信度。

实验结果

研究问题

• RQ1 循环神经网络能否在保持隐藏状态时间连续性的同时，有效建模非均匀采样时间序列？
• RQ2 与基于神经ODE的模型相比，集成连续-离散卡尔曼滤波器在插值精度方面有何提升？
• RQ3 CRU在多大程度上可通过不确定性感知门控机制处理噪声或部分观测输入？
• RQ4 卡尔曼滤波器的闭式解是否能实现比现有方法中使用的数值ODE求解器更快的训练速度？
• RQ5 CRU能否在医疗健康、气候数据和图像生成等多样化领域实现良好泛化？

主要发现

• 在摆角预测任务中，CRU的测试MSE为0.996 × 10⁻³，优于所有基线模型，包括f-CRU（1.386 × 10⁻³）和GRU-ODE-B（9.144 × 10⁻³）。
• 在PhysioNet数据集上，CRU在序列外推任务中实现了最低的测试误差，展现出强大的长期预测能力。
• 在USHCN气候数据上，CRU在外推任务中表现最佳，尤其在观测稀疏条件下优势显著。
• 对于稀疏观测（如80%稀疏度），卡尔曼增益范数显著降低，证实模型对不完整或噪声输入赋予更低权重。
• f-CRU的推理速度更快（29秒/轮次），优于GRU-ODE-B（60秒/轮次）和Latent ODE（52秒/轮次），验证了基于特征分解的参数化方法的高效性。
• 模型对部分可观测性表现出鲁棒性，卡尔曼增益范数随观测稀疏度增加而降低，表明其具备自适应不确定性处理能力。