[论文解读] Evaluating Contrastive Learning on Wearable Timeseries for Downstream Clinical Outcomes

Kevalee Shah, Dimitris Spathis+2 more|arXiv (Cornell University)|Nov 13, 2021

Machine Learning in Healthcare被引用 4

一句话总结

本文在可穿戴时间序列数据上评估了对比自监督学习（SimCLR 和 BYOL）在下游临床分类任务中的表现，针对时间信号的特点对数据增强和模型架构进行了适配。结果表明，SimCLR 在大多数疾病预测任务中优于完全监督和对抗性无监督方法，确立了对比学习在从无标签可穿戴数据中进行临床表征学习方面的强大潜力。

ABSTRACT

Vast quantities of person-generated health data (wearables) are collected but the process of annotating to feed to machine learning models is impractical. This paper discusses ways in which self-supervised approaches that use contrastive losses, such as SimCLR and BYOL, previously applied to the vision domain, can be applied to high-dimensional health signals for downstream classification tasks of various diseases spanning sleep, heart, and metabolic conditions. To this end, we adapt the data augmentation step and the overall architecture to suit the temporal nature of the data (wearable traces) and evaluate on 5 downstream tasks by comparing other state-of-the-art methods including supervised learning and an adversarial unsupervised representation learning method. We show that SimCLR outperforms the adversarial method and a fully-supervised method in the majority of the downstream evaluation tasks, and that all self-supervised methods outperform the fully-supervised methods. This work provides a comprehensive benchmark for contrastive methods applied to the wearable time-series domain, showing the promise of task-agnostic representations for downstream clinical outcomes.

研究动机与目标

• 探究对比自监督学习是否能够从无标签可穿戴时间序列数据中提取出对下游临床预测有意义的表征。
• 将基于视觉的对比方法（SimCLR 和 BYOL）适配到可穿戴健康信号的时间特性上。
• 在真实世界的临床分类任务中，将这些方法与完全监督和对抗性无监督方法进行基准对比。
• 在包括睡眠呼吸暂停、糖尿病、高血压、代谢综合征和失眠在内的多种疾病中评估性能。

提出的方法

• 通过设计领域特定的数据增强方法（如时间反演、片段置换、噪声添加和缩放），将 SimCLR 和 BYOL 框架适配到时间序列上。
• 采用双分支神经网络架构，共享编码器权重，从同一时间序列的不同增强视图中学习不变表征。
• 应用对比损失，使正样本对（同一信号的不同增强）在嵌入空间中更接近，同时使负样本对（来自不同信号）更远离。
• 在冻结的表征上使用线性分类头进行下游疾病分类，采用 F1-macro 和 F1-micro 指标进行评估。
• 选择 512 个时间步长的窗口大小和 1024 的批量大小，以优化对比学习性能。
• 与一项先前工作中提出的完全监督卷积神经网络（CNN）和对抗性无监督方法（day2vec）进行比较。

实验结果

研究问题

• RQ1 对比自监督学习能否从无标签可穿戴时间序列数据中提取出临床相关的表征？
• RQ2 在睡眠、心脏和代谢疾病分类的下游任务中，SimCLR 和 BYOL 与完全监督和对抗性无监督方法相比表现如何？
• RQ3 数据增强策略的选择是否显著影响可穿戴时间序列领域中学习表征的质量？
• RQ4 在多种临床条件下，自监督方法是否始终相对于完全监督基线具有性能优势？
• RQ5 评估指标（宏平均 F1 与微平均 F1）如何影响对不平衡临床数据集上模型性能的解读？

主要发现

• 在五项下游分类任务中的四项（包括睡眠呼吸暂停、代谢综合征和高血压）中，SimCLR 的表现优于 BYOL 和对抗性 day2vec 方法。
• 在本研究中为新任务的代谢综合征分类中，SimCLR 达到了最高的 F1-macro 分数，表明其在新临床条件下的强大泛化能力。
• BYOL 在高血压任务中取得了最佳的 F1-micro 分数，而 SimCLR 在 F1-macro 上领先，凸显了评估指标选择对模型比较的影响。
• SimCLR 和 BYOL 在所有任务中均优于完全监督的 CNN 基线，证明了在标签数据有限的临床数据上进行自监督预训练的优势。
• 结果表明，即使在后者使用相同下游数据进行训练的情况下，自监督表征仍能超越完全监督模型，暗示其具备更丰富的特征学习能力。
• 本研究为可穿戴时间序列上的对比学习建立了基准，表明任务无关的表征对多种临床结局均有效。