[论文解读] Self-supervised Transformer for Multivariate Clinical Time-Series with Missing Values.

Sindhu Tipirneni, Chandan K. Reddy|arXiv (Cornell University)|Jul 29, 2021

Machine Learning in Healthcare参考文献 18被引用 6

一句话总结

STraTS 提出了一种用于多变量临床时间序列的自监督 Transformer 模型，将数据视为观测三元组，利用连续值嵌入处理缺失值和不规则间隔，无需离散化。该模型在低标签数据设置下实现了最先进的死亡率预测性能，并通过可解释的注意力机制实现特征重要性分析。

ABSTRACT

Multivariate time-series (MVTS) data are frequently observed in critical care settings and are typically characterized by excessive missingness and irregular time intervals. Existing approaches for learning representations in this domain handle such issues by either aggregation or imputation of values, which in-turn suppresses the fine-grained information and adds undesirable noise/overhead into the machine learning model. To tackle this challenge, we propose STraTS (Self-supervised Transformer for TimeSeries) model which bypasses these pitfalls by treating time-series as a set of observation triplets instead of using the traditional dense matrix representation. It employs a novel Continuous Value Embedding (CVE) technique to encode continuous time and variable values without the need for discretization. It is composed of a Transformer component with Multi-head attention layers which enables it to learn contextual triplet embeddings while avoiding problems of recurrence and vanishing gradients that occur in recurrent architectures. Many healthcare datasets also suffer from the limited availability of labeled data. Our model utilizes self-supervision by leveraging unlabeled data to learn better representations by performing time-series forecasting as a self-supervision task. Experiments on real-world multivariate clinical time-series benchmark datasets show that STraTS shows better prediction performance than state-of-the-art methods for mortality prediction, especially when labeled data is limited. Finally, we also present an interpretable version of STraTS which can identify important measurements in the time-series data.

研究动机与目标

• 解决重症监护环境中多变量临床时间序列数据缺失和采样不规则的挑战。
• 克服现有方法依赖聚合或插补的局限性，这些方法会抑制细粒度信息并引入噪声。
• 开发一种表示学习框架，无需离散化即可保留时间与变量特异性细节。
• 通过时间序列预测实现自监督，提升在标签数据稀缺时的模型性能。
• 通过识别对预测有贡献的关键测量值，实现模型可解释性。

提出的方法

• 将多变量时间序列表示为观测三元组集合（时间、变量、值），而非密集矩阵，以保留稀疏性和不规则采样特性。
• 引入连续值嵌入（CVE）以无需离散化的方式编码连续时间与变量值，支持端到端学习。
• 采用带有多头注意力的 Transformer 编码器，从三元组序列中学习上下文嵌入，避免梯度消失与循环问题。
• 使用时间序列预测作为自监督任务，对未标注数据进行预训练，以提升表示质量。
• 集成注意力机制，通过突出时间序列中重要测量值，实现可解释性。
• 使用对比学习目标端到端训练模型，在微调阶段对齐预测结果与真实标签。

实验结果

研究问题

• RQ1 基于三元组的表示学习方法是否能在处理缺失和不规则多变量时间序列方面优于传统的密集矩阵方法？
• RQ2 连续值嵌入是否能有效编码连续时间与变量值而无需离散化，从而保留细粒度的时间动态？
• RQ3 通过预测任务实现的自监督机制，在标签临床数据有限时是否能显著提升模型性能？
• RQ4 STraTS 中的注意力机制是否能通过识别临床相关的测量值，提供有意义的可解释性？
• RQ5 STraTS 在真实世界临床基准数据集上的死亡率预测性能是否优于当前最先进模型？

主要发现

• STraTS 在真实世界多变量临床时间序列基准数据集上实现了死亡率预测的最先进性能。
• 由于有效的自监督机制，该模型在标签数据稀缺时相比现有方法表现出显著提升。
• 连续值嵌入无需离散化即可准确编码连续时间与变量值，保留了时间粒度。
• 自监督预测预训练阶段显著提升了表示质量，从而带来更好的下游性能。
• 可解释的注意力机制成功识别出临床相关的测量值，提升了模型透明度。
• 在具有不规则采样和缺失值的复杂数据集上，STraTS 在准确率与鲁棒性方面均优于循环神经网络与注意力基线模型。