[论文解读] CASS: Cross Architectural Self-Supervision for Medical Image Analysis

Pranav Singh, Elena Sizikova+1 more|arXiv (Cornell University)|Jun 8, 2022

AI in cancer detection被引用 6

一句话总结

CASS 提出了一种新颖的跨架构自监督方法，通过基于响应的对比学习联合预训练卷积神经网络（CNN）和视觉变换器（Vision Transformer），在低数据量医学影像中提升了表征学习性能。该方法仅使用1%的标注数据即实现了SOTA性能，F1/召回率平均提升3.8%，且相比先前方法将训练时间减少了69%。

ABSTRACT

Recent advances in deep learning and computer vision have reduced many barriers to automated medical image analysis, allowing algorithms to process label-free images and improve performance. However, existing techniques have extreme computational requirements and drop a lot of performance with a reduction in batch size or training epochs. This paper presents Cross Architectural - Self Supervision (CASS), a novel self-supervised learning approach that leverages Transformer and CNN simultaneously. Compared to the existing state of the art self-supervised learning approaches, we empirically show that CASS-trained CNNs and Transformers across four diverse datasets gained an average of 3.8% with 1% labeled data, 5.9% with 10% labeled data, and 10.13% with 100% labeled data while taking 69% less time. We also show that CASS is much more robust to changes in batch size and training epochs. Notably, one of the test datasets comprised histopathology slides of an autoimmune disease, a condition with minimal data that has been underrepresented in medical imaging. The code is open source and is available on GitHub.

研究动机与目标

• 解决医学影像分析中受限标注数据的问题，特别是自身免疫性疾病等代表性不足的疾病。
• 克服现有自监督学习方法在计算效率上的不足及对超参数的敏感性。
• 开发一种混合架构，结合CNN（局部不变性）与Transformer（全局注意力）的优势，以提升表征学习性能。
• 在下游任务中以极少标注数据实现更优性能，尤其在自身免疫病和罕见病影像中常见的低数据场景下。
• 构建一种计算高效的方法，在不同小批量大小和训练轮次下均保持高性能。

提出的方法

• CASS采用双分支架构，每张输入图像并行经过CNN和视觉变换器处理。
• 通过对比损失比较两个分支的特征表示，以促进两种架构输出的一致性。
• 该方法采用基于响应的对比学习，其中正样本对由同一图像在不同网络架构中的表示构成，而非通过不同数据增强生成。
• 自监督预训练使用标准数据增强（如裁剪、颜色抖动、翻转等）独立应用于每个分支。
• 预训练完成后，使用少量标注数据并结合焦点损失（focal loss）对下游分类任务进行微调，以应对类别不平衡问题。
• 该框架在四个数据集上进行了评估：自身免疫性组织病理学、皮肤病学、脑肿瘤MRI以及皮肤病变分类。

实验结果

研究问题

• RQ1 通过跨架构自监督方法结合CNN与Transformer架构，能否在低数据量医学影像中提升表征学习性能？
• RQ2 在极端标签稀缺条件下（1%、10%、100%标注数据），CASS相较于SOTA自监督方法表现如何？
• RQ3 与现有方法相比，CASS在小批量大小和训练轮次变化下的鲁棒性如何？
• RQ4 CASS在代表性不足的医学疾病（如自身免疫性疾病）中是否表现更优？
• RQ5 与现有自监督方法相比，CASS能否在保持或提升性能的同时减少训练时间？

主要发现

• 在四个数据集上，仅使用1%标注数据时，CASS相比SOTA自监督方法，F1和召回率平均提升3.8%。
• 当使用10%标注数据时，CASS在F1和召回率上相比现有方法平均提升5.9%。
• 在完全监督设置（100%标注数据）下，CASS在F1和召回率上平均提升10.13%，展现出强大的泛化能力。
• CASS相比当前SOTA方法，平均将训练时间减少了69%，显著提升了效率。
• CASS在不同小批量大小和训练轮次下均保持一致的性能表现，相比现有方法展现出更强的鲁棒性。
• 在自身免疫性疾病组织病理学数据集中，CASS相比之前SOTA方法提升2.55%，凸显其在低数据、代表性不足疾病场景下的有效性。