[论文解读] Learning to Exploit Invariances in Clinical Time-Series Data using Sequence Transformer Networks

Jeeheh Oh, Jiaxuan Wang+1 more|PubMed|Aug 21, 2018

Machine Learning in Healthcare参考文献 23被引用 18

一句话总结

本文提出序列变换器网络（Sequence Transformer Networks），一种端到端可训练的架构，能够学习临床时间序列数据中的特定任务不变性（如时间偏移、幅度缩放和偏移调整）。通过应用减少无关变异性的数据驱动变换，该方法在院内死亡率预测任务中提升了预测性能，AUROC达到0.851，优于基线卷积神经网络（CNN）的0.838。

ABSTRACT

Recently, researchers have started applying convolutional neural networks (CNNs) with one-dimensional convolutions to clinical tasks involving time-series data. This is due, in part, to their computational efficiency, relative to recurrent neural networks and their ability to efficiently exploit certain temporal invariances, (<i>e.g</i>., phase invariance). However, it is well-established that clinical data may exhibit many other types of invariances (<i>e.g</i>., scaling). While preprocessing techniques, (<i>e.g</i>., dynamic time warping) may successfully transform and align inputs, their use often requires one to identify the types of invariances in advance. In contrast, we propose the use of Sequence Transformer Networks, an end-to-end trainable architecture that learns to identify and account for invariances in clinical time-series data. Applied to the task of predicting in-hospital mortality, our proposed approach achieves an improvement in the area under the receiver operating characteristic curve (AUROC) relative to a baseline CNN (AUROC=0.851 vs. AUROC=0.838). Our results suggest that a variety of valuable invariances can be learned directly from the data.

研究动机与目标

• 为解决临床时间序列数据中任务特定不变性难以预知且难以预处理的挑战。
• 开发一种端到端可训练的框架，直接从数据中学习时间、幅度和偏移不变性，避免依赖人工设计的预处理方法。
• 提升临床时间序列任务的预测性能，特别是在使用48小时ICU数据进行院内死亡率预测方面的表现。
• 探究所学习的不变性是否能增强类内相似性并提升模型泛化能力。

提出的方法

• 该方法采用序列到序列的变换模块，学习与输入和任务相关的输入时间序列变换。
• 变换包括时间压缩与偏移（通过可学习参数θ₁, θ₀实现），以及幅度缩放与偏移（通过φ₁, φ₀实现），按每位患者独立应用。
• 网络通过对比损失进行端到端训练，以对齐具有相似临床结局的信号，从而降低类内方差。
• 该架构将所学习的变换整合到1D-CNN主干网络中，实现时间模式与不变性的同时学习。
• 在MIMIC-III数据集上使用AUROC和AUPR作为指标进行评估，与标准1D-CNN基线模型进行比较。
• 通过可视化分析患者和特征层面所学习变换的方向与幅度。

实验结果

研究问题

• RQ1 端到端可训练的模型能否在ICU时间序列数据中学习到如时间偏移和幅度缩放等临床相关的不变性？
• RQ2 所学习的变换如何影响具有相同临床结局的患者之间的类内相似性？
• RQ3 这些所学习的不变性在多大程度上提升了院内死亡率预测的性能？
• RQ4 模型所学习的变换是否与已知的生理基准（如血压、心率）一致？

主要发现

• 序列变换器网络在院内死亡率预测任务中达到AUROC 0.851，优于基线1D-CNN模型（AUROC = 0.838）。
• 该模型降低了类内欧氏距离：阳性类（28.2 vs. 34.9）和阴性类（26.3 vs. 31.8），表明具有相同结局的患者间相似性提高。
• 可视化结果显示，网络平均对信号进行压缩，并向后时间偏移和幅度降低，与生理预期一致。
• 网络在患者间表现出一致的变换趋势，幅度变换减少了信号方差并提升了对齐效果。
• 该方法表明，如时间偏移和幅度缩放等不变性可有效从数据中学习，而无需事先知晓其形式。