[论文解读] How Transferable Are Self-supervised Features in Medical Image Classification Tasks?

Tuan Truong, Sadegh Mohammadi+1 more|arXiv (Cornell University)|Aug 23, 2021

COVID-19 diagnosis using AI参考文献 11被引用 12

一句话总结

本文评估了自监督 ImageNet 微调方法——SimCLR、SwAV 和 DINO——在医学图像分类中的迁移学习性能，表明 DINO 特征在低数据场景下优于监督学习和其他自监督基线模型。本文提出了动态视觉元嵌入（DVME），一种无需依赖模型的融合方法，通过自注意力机制整合多个预训练特征，通过利用互补表征，在四个多样化的医学影像任务中实现了最先进性能。

ABSTRACT

Transfer learning has become a standard practice to mitigate the lack of labeled data in medical classification tasks. Whereas finetuning a downstream task using supervised ImageNet pretrained features is straightforward and extensively investigated in many works, there is little study on the usefulness of self-supervised pretraining. In this paper, we assess the transferability of ImageNet self-supervisedpretraining by evaluating the performance of models initialized with pretrained features from three self-supervised techniques (SimCLR, SwAV, and DINO) on selected medical classification tasks. The chosen tasks cover tumor detection in sentinel axillary lymph node images, diabetic retinopathy classification in fundus images, and multiple pathological condition classification in chest X-ray images. We demonstrate that self-supervised pretrained models yield richer embeddings than their supervised counterpart, which benefits downstream tasks in view of both linear evaluation and finetuning. For example, in view of linear evaluation at acritically small subset of the data, we see an improvement up to 14.79% in Kappa score in the diabetic retinopathy classification task, 5.4% in AUC in the tumor classification task, 7.03% AUC in the pneumonia detection, and 9.4% in AUC in the detection of pathological conditions in chest X-ray. In addition, we introduce Dynamic Visual Meta-Embedding (DVME) as an end-to-end transfer learning approach that fuses pretrained embeddings from multiple models. We show that the collective representation obtained by DVME leads to a significant improvement in the performance of selected tasks compared to using a single pretrained model approach and can be generalized to any combination of pretrained models.

研究动机与目标

• 评估自监督 ImageNet 特征在低数据医学图像分类任务中的可迁移性。
• 将最先进自监督模型（SimCLR、SwAV、DINO）与监督 ImageNet 微调进行性能比较。
• 探究通过元嵌入方法融合多个预训练特征是否能提升医学影像中的下游性能。
• 提出并验证一种模型无关的融合方法——动态视觉元嵌入（DVME），以增强医学视觉中的迁移学习性能。

提出的方法

• 在四个医学任务上，使用冻结的监督和自监督 ImageNet 模型提取的特征，评估线性评估和微调方法。
• 应用动态视觉元嵌入（DVME），该方法将多个预训练模型的特征拼接，并使用可学习的自注意力层自适应地加权其贡献。
• 仅在冻结的特征提取器之上训练元嵌入头，实现端到端的迁移学习，无需微调主干网络。
• 通过 t-SNE 可视化和注意力矩阵分析，解释融合后的表征并评估特征的互补性。
• 进行消融研究，评估 DVME 中自注意力机制的贡献，并与无注意力融合基线进行比较。
• 在每个任务中，使用标准指标（AUC、Kappa 分数和准确率）评估小数据（S）、中等数据（M）和全量数据（F）子集。

实验结果

研究问题

• RQ1 在低数据场景下，自监督 ImageNet 特征与监督特征相比，在医学图像分类中的可迁移性如何？
• RQ2 在多样化的医学影像任务中，哪种自监督预训练方法——SimCLR、SwAV 或 DINO——能产生最具可迁移性的特征？
• RQ3 通过元嵌入方法融合多个预训练特征，是否能超越最佳单模型基线，提升下游性能？
• RQ4 与简单拼接或固定加权相比，DVME 中的自注意力机制如何促进性能提升？

主要发现

• DINO 特征在大多数任务中表现最佳，优于监督学习和其他自监督基线，尤其在低数据场景下。
• 在线性评估中，DINO 在仅使用 1% 数据的情况下，使胸部 X 光片病理病变检测的 AUC 提升 9.4%，糖尿病视网膜病变分类的 Kappa 分数提升 14.79%。
• 在 4 个小型数据子任务中，DVME 超过了最佳单模型基线；在 4 个中型数据子任务中，有 3 个子任务表现更优；在 4 个全量数据子任务中，有 2 个子任务表现更优。
• 在 APTOS 糖尿病视网膜病变数据集上，DVME 在小数据和中等数据设置下，相比最佳单模型基线，Kappa 分数提升了 6%。
• DVME 中的自注意力机制显著提升了性能，在 APTOS 子任务中 Kappa 分数提升了 4.4% 至 5.6%，表明对互补特征实现了有效的动态加权。
• t-SNE 可视化结果表明，DVME 嵌入的聚类更加分离，尤其在多分类设置中，支持了其表征质量的提升。