[论文解读] CLOCS: Contrastive Learning of Cardiac Signals Across Space, Time, and Patients

Dani Kiyasseh, Tingting Zhu+1 more|arXiv (Cornell University)|May 27, 2020

Phonocardiography and Auscultation Techniques参考文献 28被引用 30

一句话总结

CLOCS 是一类针对 ECG 信号的个人化对比学习方法，利用时序、空间和患者级不变性来学习鲁棒表示，在心律失常分类上超过 BYOL 和 SimCLR，并实现数据高效学习。

ABSTRACT

The healthcare industry generates troves of unlabelled physiological data. This data can be exploited via contrastive learning, a self-supervised pre-training method that encourages representations of instances to be similar to one another. We propose a family of contrastive learning methods, CLOCS, that encourages representations across space, time, extit{and} patients to be similar to one another. We show that CLOCS consistently outperforms the state-of-the-art methods, BYOL and SimCLR, when performing a linear evaluation of, and fine-tuning on, downstream tasks. We also show that CLOCS achieves strong generalization performance with only 25\% of labelled training data. Furthermore, our training procedure naturally generates patient-specific representations that can be used to quantify patient-similarity.

研究动机与目标

• 激发在医疗保健领域大量未标记生理数据上的自监督学习。
• 提出利用时序和空间 ECG 不变性的个体化对比学习方法。
• 证明 CLOCS 能提升下游心律失常分类性能与数据效率。
• 证明 CLOCS 学习的个体化表示适用于量化患者相似性。

提出的方法

• 定义患者特定的正对，即同一患者在跨变换的上下文中产生的表示具有共享的上下文信息。
• 引入三种基于变换的编码方案：CMSC（时序片段）、CMLC（不同导联）、CMSMLC（跨导联的时序片段）。
• 给出一种患者特定的噪声对比估计（NCE）损失，结合对角项与非对角项，以聚集同一患者的表示并将其他患者的表示推离。
• 在多视图对比框架中，使用温度缩放的余弦相似性损失进行训练，聚合跨变换对和操作符组合。
• 在四个数据集（PhysioNet 2020、Chapman、PhysioNet 2017、Cardiology）上，通过线性评估和微调，对下游心律失常任务进行评估。
• 将 CLOCS 变体与 Random Init.、Supervised、MT-SSL、BYOL 和 SimCLR 进行对比；并评估对扰动和嵌入维度的鲁棒性。

实验结果

研究问题

• RQ1 患者级上下文是否能提升 ECG 信号的对比表示，超越基于实例的上下文？
• RQ2 ECG 的时序和空间不变性是否能改善下游心律失常分类？
• RQ3 个体化表示是否能在标注数据有限的情况下迁移到下游任务？
• RQ4 CLOCS 变体是否产生独特的、反映同一患者内 vs 跨患者相似性的嵌入几何？

主要发现

• CLOCS 变体在跨数据集的线性评估和心律失常分类的微调中，始终优于 BYOL 和 SimCLR。
• CMSC 和 CMSMLC 通常带来最强的下游表现，与基线相比有显著提升（例如 Chapman 数据集线性 AUC：CMSC 0.896 vs SimCLR 0.738）。
• 使用 CLOCS 的自监督预训练实现显著的数据效率，有时用 25% 标记数据即可达到或超过完全有标记的随机初始化模型。
• 嵌入分析表明，在 CLOCS 下，同一患者的距离更小，分布更可分离，表明存在患者特异性表示。
• 在多次实验中，CLOCS 在平均至少 75% 的运行中优于 SimCLR；在许多设置下，使用全部 12 导联时，CMSC 超越所有方法。
• 该框架在各种扰动下均表现稳健，表明增益来自于患者-和时间学习的不变性，而不仅仅是扰动设计。