[论文解读] Dive into Self-Supervised Learning for Medical Image Analysis: Data, Models and Tasks

Chuyan Zhang, Yun Gu|arXiv (Cornell University)|Sep 25, 2022

AI in cancer detection被引用 7

一句话总结

本文对医学图像分析中的自监督学习（SSL）进行了全面的实证研究，评估了三种医学数据集中的掩蔽任务、模型架构、数据不平衡及训练策略。研究发现，SSL 显著提升了罕见类别的性能，但在高度不平衡或平衡的数据设置下，其增益有限甚至为负，为临床环境中有效部署 SSL 提供了实用指导。

ABSTRACT

Self-supervised learning (SSL) has achieved remarkable performance in various medical imaging tasks by dint of priors from massive unlabelled data. However, regarding a specific downstream task, there is still a lack of an instruction book on how to select suitable pretext tasks and implementation details throughout the standard ``pretrain-then-finetune'' workflow. In this work, we focus on exploiting the capacity of SSL in terms of four realistic and significant issues: (1) the impact of SSL on imbalanced datasets, (2) the network architecture, (3) the applicability of upstream tasks to downstream tasks and (4) the stacking effect of SSL and common policies for deep learning. We provide a large-scale, in-depth and fine-grained study through extensive experiments on predictive, contrastive, generative and multi-SSL algorithms. Based on the results, we have uncovered several insights. Positively, SSL advances class-imbalanced learning mainly by boosting the performance of the rare class, which is of interest to clinical diagnosis. Unfortunately, SSL offers marginal or even negative returns in some cases, including severely imbalanced and relatively balanced data regimes, as well as combinations with common training policies. Our intriguing findings provide practical guidelines for the usage of SSL in the medical context and highlight the need for developing universal pretext tasks to accommodate diverse application scenarios.

研究动机与目标

• 为解决在医学影像中选择有效的 SSL 掩蔽任务和实现细节缺乏系统性指导的问题。
• 研究数据不平衡对 SSL 性能的影响，特别是在罕见疾病类别学习中的影响。
• 评估将 SSL 与常见的深度学习训练策略（如数据增强和重采样）结合的有效性。
• 探索上游 SSL 掩蔽任务与下游医学诊断任务之间的关系。
• 为在真实世界医学人工智能工作流中部署 SSL 提供可操作的、基于实证的指导建议。

提出的方法

• 在三个医学影像数据集上对预测性、对比性、生成性和多任务 SSL 方法进行了大规模、细粒度的评估。
• 通过近 250 次实验，累计使用 2000 GPU 小时，评估了在不同数据不平衡水平和训练策略下的 SSL 性能。
• 评估了四个关键维度：数据不平衡、网络架构、掩蔽任务与目标任务的相关性，以及与标准训练策略的集成。
• 使用标准化基准和受控实验设置，将 SSL 方法与监督基线及消融研究进行比较。
• 采用理论分析方法，结合高斯集中性和巴氏距离，推导出分类误差的边界，支持实证发现。
• 已实现并开源代码以确保可复现性，地址为 https://github.com/EndoluminalSurgicalVision-IMR/Medical-SSL。

实验结果

研究问题

• RQ1 自监督学习在不平衡医学图像数据集上的表现如何，特别是在罕见疾病类别上？
• RQ2 哪些 SSL 掩蔽任务和架构能在多种医学影像任务中实现最一致的性能提升？
• RQ3 将 SSL 与常见的数据增强和重采样策略结合时，其叠加效应如何？
• RQ4 上游 SSL 掩蔽任务与下游诊断任务之间的相关性如何影响微调性能？
• RQ5 在何种条件下，SSL 在医学图像分析中仅带来边际收益，甚至导致性能下降？

主要发现

• SSL 显著提升了不平衡数据集中罕见类别的性能，这对检测恶性或病理病例具有临床价值。
• 在严重不平衡的数据设置下，SSL 的性能增益有限甚至为负，尤其是在与标准数据重采样或增强策略结合时。
• 对比学习和预测性学习方法（如 SimCLR、RPL）相比生成方法表现出更稳定的训练过程和更快的收敛速度。
• SSL 的有效性高度依赖于掩蔽任务与下游诊断任务之间的对齐程度，任务不匹配时迁移收益极低。
• 常见的训练策略（如 mixup 和 cutout）可能干扰 SSL 预训练过程，导致其优势在某些设置下被削弱或完全抵消。
• 基于巴氏距离的理论分析支持了实证观察：SSL 能够提升泛化能力，尤其在各类别均值分离良好的情况下。