[论文解读] Global Contrast Masked Autoencoders Are Powerful Pathological Representation Learners

Quan Hao, Xingyu Li+8 more|arXiv (Cornell University)|May 18, 2022

AI in cancer detection被引用 6

一句话总结

该论文提出全局对比掩码自编码器（GCMAE），一种自监督学习方法，通过结合掩码图像建模与对比学习，从无标注的苏木素-伊红（H&E）染色病理全切片图像中学习强大且可迁移的表征。GCMAE在Camelyon16、NCTCRC和BreakHis数据集上的跨数据集迁移学习中达到最先进性能，优于监督学习与对比学习基线方法（包括MAE和CS-CO），尤其在线性探测与微调设置下表现更优。

ABSTRACT

Based on digital pathology slice scanning technology, artificial intelligence algorithms represented by deep learning have achieved remarkable results in the field of computational pathology. Compared to other medical images, pathology images are more difficult to annotate, and thus, there is an extreme lack of available datasets for conducting supervised learning to train robust deep learning models. In this paper, we propose a self-supervised learning (SSL) model, the global contrast-masked autoencoder (GCMAE), which can train the encoder to have the ability to represent local-global features of pathological images, also significantly improve the performance of transfer learning across data sets. In this study, the ability of the GCMAE to learn migratable representations was demonstrated through extensive experiments using a total of three different disease-specific hematoxylin and eosin (HE)-stained pathology datasets: Camelyon16, NCTCRC and BreakHis. In addition, this study designed an effective automated pathology diagnosis process based on the GCMAE for clinical applications. The source code of this paper is publicly available at https://github.com/StarUniversus/gcmae.

研究动机与目标

• 为应对病理图像标注数据稀缺的问题，开发一种适用于计算病理学的自监督表征学习方法。
• 提升深度学习模型在不同染色方案与疾病类型病理数据集间的泛化能力与可迁移性。
• 探究在病理图像表征学习中，掩码图像建模的最优掩码比例。
• 基于学习到的表征，设计一种临床可行的自动化诊断流程，以支持实际应用。
• 通过对比有无染色归一化条件下的性能，评估模型对染色变化的鲁棒性。

提出的方法

• GCMAE通过联合训练基于ViT的编码器以重建掩码图像块，并对比正负样本图像块表征，将掩码自编码（MAE）与对比学习相结合。
• 模型采用全局对比损失，以增强模型学习全局上下文特征的能力，而掩码重建任务则捕捉局部纹理与结构细节。
• 采用两阶段训练策略：首先在源数据集（Camelyon16、NCTCRC、BreakHis）上使用掩码重建与对比学习进行预训练，随后在下游任务上进行微调。
• 该方法引入可学习的掩码比例超参数，通过实验优化以平衡局部与全局特征学习，适用于病理图像数据。
• 框架支持线性探测与端到端微调两种下游分类任务设置，以评估迁移学习性能。
• 基于GCMAE特征设计了自动化诊断流程，集成注意力分类与模型蒸馏技术，适用于临床部署。

实验结果

研究问题

• RQ1 将掩码自编码与对比学习结合，能否提升病理图像分析中表征的可迁移性？
• RQ2 在H&E染色全切片图像背景下，掩码图像建模的最优掩码比例是多少？
• RQ3 在病理图像的跨数据集迁移学习中，GCMAE相较于监督学习与对比学习基线方法表现如何？
• RQ4 染色归一化是否影响GCMAE与其他自监督学习方法之间的性能差距？
• RQ5 基于轻量化GCMAE的模型能否实现可靠且临床可行的自动化诊断？

主要发现

• 在BreakHis数据集上，GCMAE在线性探测中达到92.14%的准确率，微调中AUC达99.23%，优于MAE（89.52%与98.51%）及其他基线方法。
• 在跨数据集迁移学习中，GCMAE超越在Camelyon16上预训练的监督模型，在NCTCRC数据集上实现89.22%的线性探测准确率与93.89%的微调准确率，且无需染色归一化。
• 即使在无染色归一化条件下，GCMAE仍优于所有其他方法（包括使用染色归一化的模型），表明其对染色变化具有更强的鲁棒性。
• 消融研究证实，病理图像的最优掩码比例位于0.5至0.7之间，能有效平衡局部与全局特征学习。
• 基于GCMAE的自动化诊断流程在BreakHis数据集上实现高AUC（99.23%）与高准确率（92.14%），表明其具备强临床可行性。
• GCMAE在Camelyon16、NCTCRC与BreakHis三个数据集上均保持优异性能，证明其在不同疾病与成像协议下具有良好的泛化能力。