[论文解读] A Survey on Principles, Models and Methods for Learning from Irregularly Sampled Time Series

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|Nov 30, 2020

Time Series Analysis and Forecasting参考文献 81被引用 21

一句话总结

本综述对用于不规则采样时间序列的机器学习方法进行了全面分析，按数据表示、建模基元（如递归、注意力、常微分方程（ODEs）、插值）和学习任务进行分类。研究识别出基于 ODE 和基于插值的模型在分类、预测和平滑任务中处于最先进水平，同时指出了当前深度学习模型在预测和不确定性量化方面的研究不足。

ABSTRACT

Irregularly sampled time series data arise naturally in many application domains including biology, ecology, climate science, astronomy, and health. Such data represent fundamental challenges to many classical models from machine learning and statistics due to the presence of non-uniform intervals between observations. However, there has been significant progress within the machine learning community over the last decade on developing specialized models and architectures for learning from irregularly sampled univariate and multivariate time series data. In this survey, we first describe several axes along which approaches to learning from irregularly sampled time series differ including what data representations they are based on, what modeling primitives they leverage to deal with the fundamental problem of irregular sampling, and what inference tasks they are designed to perform. We then survey the recent literature organized primarily along the axis of modeling primitives. We describe approaches based on temporal discretization, interpolation, recurrence, attention and structural invariance. We discuss similarities and differences between approaches and highlight primary strengths and weaknesses.

研究动机与目标

• 基于数据表示、建模基元和推理任务，系统性地对从不规则采样时间序列中学习的方法进行分类。
• 识别并比较不同学习目标下的关键建模基元（如递归、注意力、结构不变性、插值）的性能。
• 评估各类方法在处理非均匀采样、可变观测次数以及多变量时间序列错位问题上的优势与局限性。
• 突出当前研究中尚未充分探索的领域，特别是预测和不确定性量化。
• 通过识别如注意力和结构不变性等有前景但尚未被充分利用的基元，为未来研究提供路线图。

提出的方法

• 沿三个维度对方法进行分类：数据表示（基于序列、基于向量、基于集合）、建模基元（如递归、注意力、ODEs、插值）和学习任务（分类、预测、插值、平滑、预测）。
• 回顾离散RNN、ODE-RNN、神经CDEs以及基于核的插值作为处理不规则采样核心建模基元。
• 分析将时间戳或时间差作为输入特征，以改进循环和基于ODE模型对非均匀时间间隔的建模能力。
• 评估注意力机制和结构不变性作为序列处理的替代方案，支持并行化处理，提升训练效率。
• 比较确定性插值方法（如核平滑）与概率模型（如高斯过程）在速度、准确性和不确定性传播方面的表现。
• 使用标准指标（如准确率和均方误差）评估模型性能，同时指出大多数深度学习模型缺乏不确定性报告。

实验结果

研究问题

• RQ1 不同的建模基元（如递归、注意力和ODEs）如何应对时间序列中非均匀采样和可变观测次数的挑战？
• RQ2 在分类、预测和插值等任务中，基于ODE的模型与离散RNN相比，其相对优势与劣势是什么？
• RQ3 为何确定性插值基模型在某些任务中表现优于RNN和ODE模型？它们在不确定性量化方面做出了何种权衡？
• RQ4 与序列模型相比，基于注意力和结构不变性的模型在训练速度和性能方面提升了多少？
• RQ5 为何从不规则采样时间序列进行预测的研究仍远未成熟，相较于分类和插值等任务？

主要发现

• 基于ODE的模型在分类、预测和插值等多任务中均优于离散RNN，这得益于其连续时间公式化。
• 基于插值的方法，尤其是核平滑，已在分类和预测任务中达到最先进性能，且训练速度显著快于高斯过程或ODE模型。
• 神经CDE在处理不完整向量值观测以及通过时间整合观测方面，优于ODE-RNN。
• 尽管具有并行化潜力，注意力和结构不变性基模型尚未在准确性上超越基于ODE或插值的模型，但未来改进潜力显著。
• 大多数模型未能报告预期校准误差或生成预测不确定性，尤其是确定性深度学习模型，为追求速度和灵活性而牺牲了不确定性传播能力。
• 从不规则采样时间序列进行预测仍是尚未解决的开放性问题，仅有少数方法被应用于该任务，且性能基准有限。