[论文解读] Contrastive Pretraining for Echocardiography Segmentation with Limited Data

M. A. Saeed, Rand Muhtaseb+1 more|arXiv (Cornell University)|Jan 16, 2022

Cardiac Valve Diseases and Treatments被引用 5

一句话总结

本论文提出一种自监督对比预训练方法，结合SimCLR与BYOL，利用有限标注数据提升超声心动图中左心室分割的性能。通过在大规模未标注超声视频上进行预训练，并仅使用ImageNet或EchoNet-Dynamic数据集的5%进行微调，该方法在EchoNet-Dynamic数据集上取得了0.9252的Dice分数，优于完全监督的最先进模型。

ABSTRACT

Contrastive learning has proven useful in many applications where access to labelled data is limited. The lack of annotated data is particularly problematic in medical image segmentation as it is difficult to have clinical experts manually annotate large volumes of data such as cardiac structures in ultrasound images of the heart. In this paper, We propose a self supervised contrastive learning method to segment the left ventricle from echocardiography when limited annotated images exist. Furthermore, we study the effect of contrastive pretraining on two well-known segmentation networks, UNet and DeepLabV3. Our results show that contrastive pretraining helps improve the performance on left ventricle segmentation, particularly when annotated data is scarce. We show how to achieve comparable results to state-of-the-art fully supervised algorithms when we train our models in a self-supervised fashion followed by fine-tuning on just 5\% of the data. We show that our solution outperforms what is currently published on a large public dataset (EchoNet-Dynamic) achieving a Dice score of 0.9252. We also compare the performance of our solution on another smaller dataset (CAMUS) to demonstrate the generalizability of our proposed solution. The code is available at (https://github.com/BioMedIA-MBZUAI/contrastive-echo).

研究动机与目标

• 解决临床环境中因超声心动图标注数据有限而阻碍深度学习部署的挑战。
• 探究在标注数据稀缺的情况下，自监督对比学习是否能够提升分割性能。
• 评估SimCLR与BYOL对比学习框架在使用UNet和DeepLabV3两种成熟网络架构时，对超声心动图分割的效能。
• 通过在大规模EchoNet-Dynamic和小规模CAMUS数据集上的测试，证明方法在不同数据集间的泛化能力。
• 探究预训练数据规模和主干网络初始化方式对下游分割性能的影响。

提出的方法

• 在EchoNet-Dynamic和CAMUS的大量未标注超声视频上，使用SimCLR和BYOL对特征提取器进行预训练。
• 应用随机裁剪、颜色抖动和高斯模糊等数据增强技术，生成正样本对与负样本对以支持对比学习。
• 在下游分割任务中，仅使用5%的标注数据对预训练主干网络进行微调，采用UNet和DeepLabV3架构。
• 使用对比损失最大化同一图像不同增强视图之间的匹配度（正样本对），同时最小化不同图像视图之间的匹配度（负样本对）。
• 在不同数据设置（100%和5%标注数据）下，于EchoNet-Dynamic和CAMUS数据集上评估Dice分数。
• 对比不同预训练策略：ImageNet预训练、随机初始化与在EchoNet-Dynamic或CAMUS上进行对比预训练。

实验结果

研究问题

• RQ1 当仅有限标注数据可用时，自监督对比预训练能否提升超声心动图中左心室分割的性能？
• RQ2 在仅使用极少微调数据的情况下，SimCLR是否在超声心动图分割任务中优于BYOL？
• RQ3 在大规模多样化数据集EchoNet-Dynamic上预训练，与在小规模领域特定数据集CAMUS上预训练相比，效果如何？
• RQ4 仅用5%的标注数据进行微调的模型，能在多大程度上达到与完全监督的最先进模型相当的性能？
• RQ5 分割主干网络的选择（UNet与DeepLabV3）是否会影响从对比预训练中获得的收益？

主要发现

• 在EchoNet-Dynamic数据集上，使用EchoNet-Dynamic进行SimCLR对比预训练，Dice分数达到0.9252，优于完全监督的最先进方法。
• 在SimCLR预训练后，仅用5%的标注数据进行微调，性能即与完全监督模型相当，展现出极强的数据效率。
• 在EchoNet-Dynamic上进行SimCLR预训练后，模型在CAMUS数据集上也取得优异表现，Dice分数达0.9311，优于ImageNet和随机初始化。
• BYOL预训练表现较差，尤其在仅用5%数据微调时，Dice分数仅为0.7256，表明其在低数据环境下存在不稳定性与泛化能力差的问题。
• 在小样本数据集CAMUS（400个样本）上进行预训练对SimCLR和BYOL均无效，凸显了大规模预训练数据的必要性。
• 在所有设置中，DeepLabV3均优于UNet，尤其在结合SimCLR预训练时，其ASPP模块使多尺度特征学习能力更强，表现更优。