[论文解读] BROW: Better featuRes fOr Whole slide image based on self-distillation

Yuanfeng Wu, Shaojie Li+2 more|arXiv (Cornell University)|Sep 15, 2023

AI in cancer detection被引用 5

一句话总结

BROW 是一种基于自蒸馏的视觉变换器基础模型，用于全切片图像（WSI）特征提取，利用来自 11,000 多张切片、涵盖多种组织类型和染色方法的大规模数据集（1.8 亿张图像块）进行训练。它在多个下游任务中实现了最先进性能，包括切片级别亚型分类、图像块级别分类以及细胞核分割，展现出在极少微调下的强大鲁棒性和泛化能力。

ABSTRACT

Whole slide image (WSI) processing is becoming part of the key components of standard clinical diagnosis for various diseases. However, the direct application of conventional image processing algorithms to WSI faces certain obstacles because of WSIs' distinct property: the super-high resolution. The performance of most WSI-related tasks relies on the efficacy of the backbone which extracts WSI patch feature representations. Hence, we proposed BROW, a foundation model for extracting better feature representations for WSIs, which can be conveniently adapted to downstream tasks without or with slight fine-tuning. The model takes transformer architecture, pretrained using self-distillation framework. To improve model's robustness, techniques such as patch shuffling have been employed. Additionally, the model leverages the unique properties of WSIs, utilizing WSI's multi-scale pyramid to incorporate an additional global view, thereby further enhancing its performance. We used both private and public data to make up a large pretraining dataset, containing more than 11000 slides, over 180M extracted patches, encompassing WSIs related to various organs and tissues. To assess the effectiveness of \ourmodel, we run a wide range of downstream tasks, including slide-level subtyping, patch-level classification and nuclei instance segmentation. The results confirmed the efficacy, robustness and good generalization ability of the proposed model. This substantiates its potential as foundation model for WSI feature extraction and highlights promising prospects for its application in WSI processing.

研究动机与目标

• 通过开发一种稳健且可扩展的特征提取主干网络，解决高分辨率 WSI 处理的挑战。
• 通过创建 WSI 专用的基础模型，克服任务特定模型和自然图像预训练的局限性。
• 通过自蒸馏和数据增强技术，提升模型的泛化能力和鲁棒性。
• 利用 WSI 的分层多尺度结构，增强全局上下文理解能力。
• 通过参数高效微调或直接特征提取，实现在多样化下游任务中的高效适应。

提出的方法

• 采用视觉变换器架构作为主干网络，以学习 WSI 的分层表示。
• 使用自蒸馏框架进行模型预训练，以提升特征质量和鲁棒性。
• 将来自 WSI 的多尺度金字塔特征作为额外的全局视图，以增强上下文理解。
• 在训练过程中应用图像块洗牌和色彩增强视图，以提升对数据变化的鲁棒性。
• 利用来自超过 11,000 张 WSI 切片的 1.8 亿张图像块的大规模数据集，结合多种器官和染色技术的公开与私有数据。
• 通过少样本学习或参数高效微调（如 LoRA）实现下游适应，最大限度降低计算成本。

实验结果

研究问题

• RQ1 与任务特定模型或自然图像预训练相比，自监督的大规模基础模型是否能显著提升全切片图像的特征表示能力？
• RQ2 将来自 WSI 的多尺度金字塔特征引入模型，如何提升模型性能和泛化能力？
• RQ3 自蒸馏在 WSI 表征学习中在多大程度上提升了模型的鲁棒性和特征质量？
• RQ4 所提出的模型是否能在极少微调的情况下，有效泛化到多样化的下游任务？
• RQ5 数据集规模和多样性（如染色方法、组织类型）在多大程度上影响模型的性能和泛化能力？

主要发现

• BROW 在多个数据集的切片级别亚型分类任务中表现优异，展现出在不同组织类型和染色方案下的强大泛化能力。
• 在图像块级别分类任务中，该模型优于基线方法，尤其在低数据场景下，得益于自蒸馏带来的稳健特征学习。
• BROW 在细胞核实例分割任务中取得了最先进结果，凸显其捕捉细微形态细节的能力。
• 多尺度金字塔特征的使用显著提升了模型性能，尤其在需要上下文理解的任务中表现突出。
• 自蒸馏和数据增强技术增强了模型鲁棒性，降低了对染色差异和图像伪影的敏感性。
• 该模型展现出强大的可迁移性，能够通过极少微调甚至直接特征提取，有效适应下游任务。