[论文解读] Hierarchical discriminative learning improves visual representations of biomedical microscopy

Cheng Jiang, Xinhai Hou+6 more|arXiv (Cornell University)|Mar 2, 2023

Cell Image Analysis Techniques被引用 6

一句话总结

本文提出HiDisc，一种用于生物医学显微成像的分层判别式自监督学习方法，利用患者-切片-切片块的数据层级结构以提升视觉表征学习效果。通过基于层级中共享亲缘关系定义正样本对，并采用统一的切片块、切片和患者判别目标，HiDisc在无需强数据增强的情况下，在癌症诊断和基因突变预测任务上实现了最先进性能。

ABSTRACT

Learning high-quality, self-supervised, visual representations is essential to advance the role of computer vision in biomedical microscopy and clinical medicine. Previous work has focused on self-supervised representation learning (SSL) methods developed for instance discrimination and applied them directly to image patches, or fields-of-view, sampled from gigapixel whole-slide images (WSIs) used for cancer diagnosis. However, this strategy is limited because it (1) assumes patches from the same patient are independent, (2) neglects the patient-slide-patch hierarchy of clinical biomedical microscopy, and (3) requires strong data augmentations that can degrade downstream performance. Importantly, sampled patches from WSIs of a patient's tumor are a diverse set of image examples that capture the same underlying cancer diagnosis. This motivated HiDisc, a data-driven method that leverages the inherent patient-slide-patch hierarchy of clinical biomedical microscopy to define a hierarchical discriminative learning task that implicitly learns features of the underlying diagnosis. HiDisc uses a self-supervised contrastive learning framework in which positive patch pairs are defined based on a common ancestry in the data hierarchy, and a unified patch, slide, and patient discriminative learning objective is used for visual SSL. We benchmark HiDisc visual representations on two vision tasks using two biomedical microscopy datasets, and demonstrate that (1) HiDisc pretraining outperforms current state-of-the-art self-supervised pretraining methods for cancer diagnosis and genetic mutation prediction, and (2) HiDisc learns high-quality visual representations using natural patch diversity without strong data augmentations.

研究动机与目标

• 为解决现有自监督学习（SSL）方法在生物医学显微成像中将切片块视为独立样本、忽略患者-切片-切片块层级结构的局限性。
• 通过利用临床病理学中全切片图像（WSIs）固有的分层结构，提升视觉表征质量。
• 减少对可能破坏显微图像中判别性特征的强域无关数据增强的依赖。
• 开发一种统一的SSL目标，联合优化切片块、切片和患者层级的判别。
• 在真实世界生物医学显微成像数据集上，通过实验证明其在组织病理学分类和基因突变预测任务中的优越下游性能。

提出的方法

• HiDisc采用对比学习框架，其中正样本对基于患者-切片-切片块层级结构中的共享亲缘关系定义，而非随机增强。
• 该方法引入一种统一的判别目标，联合优化切片块层级、切片层级和患者层级的判别。
• 通过从同一患者或切片中采样切片块形成正样本对，提升多样性同时保留生物学相关性。
• 模型使用多层级对比损失进行预训练，其中切片块、切片和患者层级的损失具有可学习的权重系数（λ）。
• 该方法可推广至任意孪生表征学习框架，且无需强数据增强。
• 在两个多样化数据集上验证，训练对学习率和批量大小的变化具有鲁棒性。

实验结果

研究问题

• RQ1 利用全切片图像的分层结构是否能提升生物医学显微成像中的自监督视觉表征学习？
• RQ2 统一的切片块、切片和患者层级判别目标是否能带来优于标准实例层级对比学习的下游性能？
• RQ3 HiDisc是否能在不依赖可能破坏生物学有意义特征的强数据增强的情况下，实现最先进性能？
• RQ4 HiDisc对学习率、批量大小和权重系数等超参数选择的敏感性如何？
• RQ5 分层学习目标是否能为癌症诊断和基因突变预测带来更具迁移性和准确性的表征？

主要发现

• 在使用拉曼散射显微镜模拟的SRH数据集上，HiDisc在多类别组织病理学癌症诊断任务中优于最先进自监督预训练方法，准确率达到88.4%。
• 在TCGA数据集上的分子遗传突变预测任务中，HiDisc在患者层级达到92.0%的准确率，超越了以往最先进方法。
• 在SRH数据集的切片块层级，HiDisc达到89.9%的AUROC；在TCGA数据集的切片层级，达到93.6%的AUROC，表明其在层级结构所有层级均表现出色。
• 该方法对学习率变化具有鲁棒性，在两个数据集上，学习率从10⁻⁵到10⁻¹的范围内均保持高性能。
• 消融研究证实，若移除患者或切片层级的监督，性能会下降，验证了分层目标的重要性。
• HiDisc在无需强数据增强的情况下取得优异结果，表明层级结构中自然存在的切片块多样性已足以支持高质量表征学习。