[论文解读] A Survey on Principles, Models and Methods for Learning from Irregularly Sampled Time Series: From Discretization to Attention and Invariance.

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|Nov 30, 2020

Time Series Analysis and Forecasting参考文献 81被引用 8

一句话总结

本综述通过将方法按建模原语（如离散化、插值、递归、注意力和结构不变性）分类，综合了从非均匀采样时间序列中学习的原理、模型与方法，全面分析了其在各类机器学习任务中的优势、劣势及设计权衡。

ABSTRACT

Irregularly sampled time series data arise naturally in many application domains including biology, ecology, climate science, astronomy, and health. Such data represent fundamental challenges to many classical models from machine learning and statistics due to the presence of non-uniform intervals between observations. However, there has been significant progress within the machine learning community over the last decade on developing specialized models and architectures for learning from irregularly sampled univariate and multivariate time series data. In this survey, we first describe several axes along which approaches differ including what data representations they are based on, what modeling primitives they leverage to deal with the fundamental problem of irregular sampling, and what inference tasks they are designed to perform. We then survey the recent literature organized primarily along the axis of modeling primitives. We describe approaches based on temporal discretization, interpolation, recurrence, attention, and structural invariance. We discuss similarities and differences between approaches and highlight primary strengths and weaknesses.

研究动机与目标

• 系统地对不同建模原语下的非均匀采样时间序列建模方法进行分类与比较。
• 识别非均匀采样间隔对时间序列数据带来的关键挑战。
• 分析该领域内近期模型的设计选择、假设及性能权衡。
• 为研究人员提供非均匀时间序列学习领域最先进水平的统一参考。

提出的方法

• 基于数据表示、建模原语和推理任务对方法进行分类。
• 回顾利用时间离散化将非均匀数据转换为规则网格的方法。
• 分析基于插值的方法，这些方法通过学习或启发式策略估计缺失值。
• 研究基于递归的模型，这些模型通过引入时间感知机制的循环架构处理非均匀序列。
• 调查基于注意力的模型，这些模型通过相对或绝对时间嵌入关注非均匀间隔的时间点。
• 评估结构不变性方法，这些方法通过强制时间扭曲和采样不规则性下的等变性或不变性来提升模型鲁棒性。

实验结果

研究问题

• RQ1 不同建模原语如何应对非均匀采样间隔这一根本性挑战？
• RQ2 离散化、插值、递归、注意力和基于不变性的方法在相对优势与局限性方面有何差异？
• RQ3 注意力机制在处理非均匀时间间隔方面与标准RNN或Transformer相比有何适应性？
• RQ4 不变性与等变性原理如何提升非均匀时间序列建模的鲁棒性？
• RQ5 在计算效率、表达能力与泛化能力之间，各类方法的关键设计权衡是什么？

主要发现

• 离散化方法简单易用，但对分箱选择敏感，可能扭曲时间动态。
• 基于插值的方法可提升性能，但其效果高度依赖于插值方法的质量及其归纳偏置。
• 具备时间感知门控机制的循环模型展现出潜力，但在高度不规则序列中处理长程依赖仍具挑战。
• 引入时间嵌入的注意力机制在非均匀数据上优于标准注意力机制，能更有效地建模长程依赖。
• 结构不变性方法在时间扭曲和采样变化方面表现出更强的鲁棒性，尤其在低数据场景下优势明显。
• 无单一方法在所有任务中占优；性能取决于数据特征、序列长度和稀疏性。