[论文解读] Graph-Guided Network for Irregularly Sampled Multivariate Time Series

Xiang Zhang, Marko Zeman+2 more|arXiv (Cornell University)|Oct 11, 2021

Machine Learning in Healthcare参考文献 38被引用 24

一句话总结

Raindrop 是一种图神经网络，通过学习动态的、样本特定的传感器依赖图，并使用一种新颖的消息传递机制在传感器之间传播信息，从而对非均匀采样的多变量时间序列进行建模。在医疗保健和人类活动数据集上，其 F1 分数相比最先进方法最高提升 11.4 个百分点，证明了其在无需插补的情况下处理错位、非均匀和稀疏观测数据的优越性能。

ABSTRACT

In many domains, including healthcare, biology, and climate science, time series are irregularly sampled with varying time intervals between successive readouts and different subsets of variables (sensors) observed at different time points. Here, we introduce RAINDROP, a graph neural network that embeds irregularly sampled and multivariate time series while also learning the dynamics of sensors purely from observational data. RAINDROP represents every sample as a separate sensor graph and models time-varying dependencies between sensors with a novel message passing operator. It estimates the latent sensor graph structure and leverages the structure together with nearby observations to predict misaligned readouts. This model can be interpreted as a graph neural network that sends messages over graphs that are optimized for capturing time-varying dependencies among sensors. We use RAINDROP to classify time series and interpret temporal dynamics on three healthcare and human activity datasets. RAINDROP outperforms state-of-the-art methods by up to 11.4% (absolute F1-score points), including techniques that deal with irregular sampling using fixed discretization and set functions. RAINDROP shows superiority in diverse setups, including challenging leave-sensor-out settings.

研究动机与目标

• 解决多变量时间序列中非均匀采样、观测错位和传感器可用性变化带来的挑战。
• 直接从观测数据中学习随时间变化的传感器间依赖关系，而无需依赖插补或固定离散化。
• 通过将传感器关系建模为潜在的、样本特定的图结构，提升表征学习和下游分类性能。
• 在如“缺传感器”评估等具有挑战性的设置中实现稳健性能，此类场景下传感器数据常系统性缺失。
• 提供可解释的模型，通过学习到的图结构捕捉有意义的传感器动态。

提出的方法

• Raindrop 为每个时间序列样本构建一个独立的潜在传感器依赖图，其中节点代表传感器，边代表学习到的传感器间关系。
• 采用一种新颖的消息传递算子，在传感器图上传播神经消息，同时结合时间接近度和传感器相似度。
• 模型使用分层注意力机制，以加权序列观测和图中邻近传感器的重要性。
• 通过可微分框架联合优化节点表征、图结构（通过边权重）和注意力参数。
• 通过重构损失和分类损失的组合，端到端训练图结构，实现关系与时间动态的联合优化。
• 在样本间共享注意力权重，以捕捉共性模式并实现对多样化时间序列的泛化。

实验结果

研究问题

• RQ1 图神经网络是否能有效在无需插补的情况下，对非均匀采样多变量时间序列中的时变传感器间依赖关系进行建模？
• RQ2 学习样本特定的传感器图在多大程度上提升了表征学习和下游分类准确率？
• RQ3 与依赖固定离散化或基于集合的函数的方法相比，Raindrop 在处理非均匀时间序列时的性能优势有多大？
• RQ4 学习到的传感器依赖图在多大程度上可解释，能否揭示与下游标签（如疾病状态）相关的有意义模式？
• RQ5 在“缺传感器”评估等具有挑战性的设置中，Raindrop 的鲁棒性如何，尤其是在传感器数据系统性缺失的情况下？

主要发现

• Raindrop 在三个医疗保健和人类活动数据集上，F1 分数相比最先进方法最高提升 11.4 个百分点，表现出显著的性能提升。
• 在 PAM 数据集的 Setting 1 下，Raindrop 的 F1 分数达到 47.2 ± 4.4，比表现第二好的方法高出超过 11 个百分点。
• 消融实验确认，所有组件——传感器间依赖关系、时间注意力和传感器级拼接——对最优性能均不可或缺。
• 学习到的传感器图可视化显示，败血症阳性与阴性病例之间存在明显的结构差异，表明模型具有可解释性与临床相关性。
• Raindrop 在“缺传感器”设置中表现出良好泛化能力，即使在推理阶段完全剔除某些传感器，仍能保持强劲性能。
• 无论在观测频率和传感器可用性高度多变的数据集上，模型性能均保持一致优越。