[论文解读] Multi-resolution Networks For Flexible Irregular Time Series Modeling (Multi-FIT)

Bhanu Pratap Singh, Iman Deznabi+5 more|arXiv (Cornell University)|Apr 30, 2019

Machine Learning in Healthcare参考文献 19被引用 4

一句话总结

本文提出 Multi-FIT，一种用于灵活建模具有缺失数据的不规则时间序列的多分辨率神经网络，通过学习特定任务的表示而非填补数值。它使用记忆单元编码时间间隔和信号统计信息，通过支持信号（FIT-V）利用特征间相关性，并并行处理快速和慢速信号，在 PhysioNet 数据集上实现了患者生存预测的最先进性能，F-score 达到 0.681。

ABSTRACT

Missing values, irregularly collected samples, and multi-resolution signals commonly occur in multivariate time series data, making predictive tasks difficult. These challenges are especially prevalent in the healthcare domain, where patients' vital signs and electronic records are collected at different frequencies and have occasionally missing information due to the imperfections in equipment or patient circumstances. Researchers have handled each of these issues differently, often handling missing data through mean value imputation and then using sequence models over the multivariate signals while ignoring the different resolution of signals. We propose a unified model named Multi-resolution Flexible Irregular Time series Network (Multi-FIT). The building block for Multi-FIT is the FIT network. The FIT network creates an informative dense representation at each time step using signal information such as last observed value, time difference since the last observed time stamp and overall mean for the signal. Vertical FIT (FIT-V) is a variant of FIT which also models the relationship between different temporal signals while creating the informative dense representations for the signal. The multi-FIT model uses multiple FIT networks for sets of signals with different resolutions, further facilitating the construction of flexible representations. Our model has three main contributions: a.) it does not impute values but rather creates informative representations to provide flexibility to the model for creating task-specific representations b.) it models the relationship between different signals in the form of support signals c.) it models different resolutions in parallel before merging them for the final prediction task. The FIT, FIT-V and Multi-FIT networks improve upon the state-of-the-art models for three predictive tasks, including the forecasting of patient survival.

研究动机与目标

• 解决多变量时间序列中常见的不规则采样、缺失数据和不同信号频率的问题，这些问题在医疗和传感器数据中普遍存在。
• 克服现有模型依赖填补或统一处理所有信号的局限性，这些方法可能扭曲时间模式并降低预测准确性。
• 开发一个统一框架，在保留信号固有不规则性和分辨率差异的同时，实现有效的序列建模。
• 利用特征间相关性改善缺失值的表示学习，特别是在观测稀疏的场景下。
• 在真实世界数据集上展示卓越性能，特别是在具有高缺失率和多分辨率信号的 ICU 数据中进行患者生存预测。

提出的方法

• 提出 FIT 网络，其使用带有全连接网络的记忆单元，编码每个信号自上次观测以来的时间流逝、信号均值和最后一次观测值。
• 记忆单元在不填补数值的情况下生成缺失时间步的有意义表示，保留时间动态并减少强制填补带来的噪声。
• 提出 FIT-V 变体，通过引入相关联的“支持”信号来改进缺失值的表示学习，增强对特征间依赖关系的建模。
• 设计 Multi-FIT 以并行处理不同分辨率的信号——快速和慢速信号分别通过专用的 FIT 组件编码，之后拼接。
• 在合并的表示上使用共享序列模型（如 LSTM）进行下游分类，实现在不同分辨率层级上的联合学习。
• 采用基于相关性的特征选择方法，为每个目标信号在 FIT-V 中识别出两个强相关支持信号，从而在无需完整填补的情况下提升填补质量。

实验结果

研究问题

• RQ1 深度学习模型是否能在不依赖数据填补的情况下，有效处理具有不规则采样、缺失数据和不同信号频率的多变量时间序列？
• RQ2 通过支持信号利用特征间相关性，如何改善时间序列中缺失值的表示学习？
• RQ3 并行处理不同分辨率的信号是否能带来优于标准序列模型的多分辨率时间序列预测性能？
• RQ4 在真实世界 ICU 数据中常见的高缺失率和多样化采样模式下，该模型表现如何？
• RQ5 所提出的架构是否能在复杂真实数据集上的生存预测任务中超越 SOTA 模型（如 GRU-D 和 TBM）？

主要发现

• Multi-FIT-V 在 PhysioNet 数据集上的患者生存预测任务中取得了最高的 F-score（0.681），优于 GRU-D（0.674）和 TBM（0.659）。
• 模型在高缺失率下表现出鲁棒性，部分特征的缺失率高达 84%，同时仍保持强大的预测性能。
• FIT-V 通过为每个信号利用两个高度相关的支持特征，相较标准 FIT 提升了性能，F-score 从 0.666 提升至 0.676（在 PhysioNet 上）。
• Multi-FIT 超过了基线 BA-mean 模型（F-score 0.656），并在 PhysioNet 数据集上优于 GRU-D，证实其在多分辨率数据上的有效性。
• 该模型避免在每个时间步对慢速信号进行填补，减少了序列长度并提升了表示质量，尤其在观测稀疏场景下优势明显。
• 实验表明，该模型在具有不同程度不规则性和缺失率的数据集上性能稳定，证实其灵活性和泛化能力。