[论文解读] Fine-Tuning and Training of DenseNet for Histopathology Image Representation Using TCGA Diagnostic Slides

Abtin Riasatian, Morteza Babaie+20 more|arXiv (Cornell University)|Jan 20, 2021

AI in cancer detection参考文献 48被引用 13

一句话总结

本文提出 KimiaNet，一种基于 DenseNet 的模型，利用来自 TCGA 全切片图像的超过 240,000 个高倍率（20×）组织病理学图像块进行微调和端到端训练，弱标签来源于高细胞密度拼接方法。与预训练的 DenseNet 及更小的定制卷积神经网络相比，KimiaNet 在图像分类和图像检索任务中表现出更优的性能，表明领域特定的微调能显著提升数字病理学中的深度特征表示能力。

ABSTRACT

Feature vectors provided by pre-trained deep artificial neural networks have become a dominant source for image representation in recent literature. Their contribution to the performance of image analysis can be improved through finetuning. As an ultimate solution, one might even train a deep network from scratch with the domain-relevant images, a highly desirable option which is generally impeded in pathology by lack of labeled images and the computational expense. In this study, we propose a new network, namely KimiaNet, that employs the topology of the DenseNet with four dense blocks, fine-tuned and trained with histopathology images in different configurations. We used more than 240,000 image patches with 1000x1000 pixels acquired at 20x magnification through our proposed "highcellularity mosaic" approach to enable the usage of weak labels of 7,126 whole slide images of formalin-fixed paraffin-embedded human pathology samples publicly available through the The Cancer Genome Atlas (TCGA) repository. We tested KimiaNet using three public datasets, namely TCGA, endometrial cancer images, and colorectal cancer images by evaluating the performance of search and classification when corresponding features of different networks are used for image representation. As well, we designed and trained multiple convolutional batch-normalized ReLU (CBR) networks. The results show that KimiaNet provides superior results compared to the original DenseNet and smaller CBR networks when used as feature extractor to represent histopathology images.

研究动机与目标

• 通过领域特定的微调和训练，提升组织病理学图像中的深度特征表示能力。
• 通过利用全切片图像中的弱标签，解决数字病理学中标签数据有限的挑战。
• 评估在组织病理学数据上进行微调或从零开始训练是否优于使用 ImageNet 预训练模型的迁移学习方法。
• 开发一种可扩展且可复现的方法，用于在无需像素级标注的情况下，对高分辨率病理学图像训练深度神经网络。

提出的方法

• 采用高细胞密度拼接方法，从 20× 放大倍率的全切片图像中生成 1000×1000 像素的图像块，从而可使用全切片图像级别的标签进行训练。
• KimiaNet 是一个包含四个密集块的 DenseNet，其在来自 TCGA 的超过 240,000 个组织病理学图像块上进行了微调和从零开始训练。
• 模型使用来自 7,126 幅全切片图像的弱标签进行训练，避免了对像素级标注的依赖。
• 为进行对比，实现了多个更小的卷积批归一化 ReLU（CBR）网络（Small、LargeT、LargeW，以及具有五个块的修改版 Small），并从零开始训练。
• 在 CBR 网络的最终全连接层之前添加了全连接层，以提升特征性能。
• 在三个公开数据集（TCGA、子宫内膜癌和结直肠癌）上评估性能，任务包括水平和垂直图像搜索以及分类任务。

实验结果

研究问题

• RQ1 在组织病理学图像上对 DenseNet 进行微调或从零开始训练，是否能获得优于使用 ImageNet 预训练模型的图像表征能力？
• RQ2 能否有效利用全切片图像中的弱标签来训练深度网络，而无需像素级标注？
• RQ3 当作为组织病理学图像分析中的特征提取器时，KimiaNet 与更小的定制 CBR 网络相比，性能如何？
• RQ4 高细胞密度拼接图像块生成方法对数字病理学中模型泛化能力和特征质量有何影响？

主要发现

• 在水平图像搜索任务中，KimiaNet 的平均准确率比表现第二好的模型（LargeT）高出 30%，且在全部 12 个类别中表现更一致。
• 在垂直搜索中，KimiaNet 在 26 个类别中的 23 个类别达到了最大 F1 分数，且在平均和最大 F1 分数上均优于所有其他模型。
• KimiaNet 的平均 F1 分数比第二好的模型（LargeW）高出 10%，且标准差最低，表明其性能更稳定。
• 在分类和检索任务中，KimiaNet 均优于原始的 ImageNet 预训练 DenseNet 及所有更小的 CBR 网络。
• 在最终全连接层前添加全连接层对 CBR 网络性能至关重要，因其显著提升了特征质量。
• 高细胞密度拼接方法有效利用了弱标签，并促进了大规模训练，尽管可能对某些组织学特征存在偏差。