[论文解读] Multiscale Deep Neural Networks for Multiclass Tissue Classification of Histological Whole-Slide Images

Rune Wetteland, Kjersti Engan+3 more|arXiv (Cornell University)|Sep 3, 2019

AI in cancer detection参考文献 6被引用 12

一句话总结

本论文提出一种基于VGG16的多尺度深度学习方法，利用卷积神经网络对尿路上皮癌的组织学全切片图像（WSI）进行分类，分为六种组织类型——尿路上皮、间质、肌肉、受损组织、血液和背景。通过融合多个放大倍数级别（25x、100x、400x）的特征，DI-CNN和TRI-CNN模型实现了0.986的F1得分，显著优于单尺度基线模型，表明多尺度特征融合可提升诊断性组织区域检测的分类准确率。

ABSTRACT

Correct treatment of urothelial carcinoma patients is dependent on accurate grading and staging of the cancer tumour. This is determined manually by a pathologist by examining the histological whole-slide images (WSI). The large size of these images makes this a time-consuming and challenging task. The WSI contain a variety of tissue types, and a method for defining diagnostic relevant regions would have several advantages for visualization as well as further input to automated diagnosis systems. We propose an automatic multiscale method for classification of tiles from WSI of urothelial carcinoma patients into six classes. Three architectures based on convolutional neural network (CNN) were tested: MONO-CNN (400x), DI-CNN (100x/400x) and TRI-CNN (25x/100x/400x). The preliminary results show that the two multiscale models performed significantly better than the mono-scale model, achieving an F1-score of 0.986, substantiating that utilising multiple scales in the model aids the classification accuracy.

研究动机与目标

• 解决在尿路上皮癌全切片图像（WSI）中手动、耗时且不一致的组织分类挑战。
• 开发一种自动化方法，用于在大型WSI中识别具有诊断意义的组织区域，以支持病理科医生和计算机辅助诊断系统。
• 评估在多尺度（25x、100x、400x）下融合特征是否能提升多类别组织分类性能，相较于单尺度方法。
• 比较三种CNN架构——MONO-CNN（400x）、DI-CNN（100x/400x）和TRI-CNN（25x/100x/400x）在准确率、鲁棒性和参数效率方面的表现。

提出的方法

• 从WSI中以128×128×3的尺寸提取图像块，覆盖三个放大倍数级别：25x、100x和400x，确保各尺度下中心像素一致。
• 训练了三种模型：MONO-CNN（单一400x输入）、DI-CNN（100x和400x两个并行输入）和TRI-CNN（25x、100x和400x三个并行输入）。
• 每个输入通过权重冻结的预训练VGG16网络处理，作为特征提取器。
• 将多尺度特征拼接后，输入由两层全连接层组成的分类头，每层后接Dropout和Softmax层，输出六类结果。
• 对每种模型在15种超参数配置（全连接层神经元数：512–4096，Dropout率：0–0.5）下进行调优，并采用3折交叉训练与平均以提升鲁棒性。
• 模型选择基于验证损失的早停策略，最终在测试集上使用性能最佳的模型权重进行评估。

实验结果

研究问题

• RQ1 与单尺度方法相比，是否在深度学习模型中引入多空间尺度（25x、100x、400x）能提升尿路上皮癌WSI中多类别组织分类的准确率？
• RQ2 在分类组织学WSI中的六种组织类型时，不同多尺度架构（DI-CNN和TRI-CNN）在性能和参数效率方面如何比较？
• RQ3 与单尺度模型相比，多尺度方法在多大程度上降低了分类性能的方差？
• RQ4 多尺度CNN能否有效作为病理科医生和自动化诊断系统中感兴趣区域（ROI）提取工具？

主要发现

• DI-CNN和TRI-CNN模型的F1得分分别为0.986 ± 0.002和0.986 ± 0.003，显著优于MONO-CNN模型的0.944 ± 0.007。
• 多尺度模型在各项指标上表现出更低的标准差，表明其分类性能更具鲁棒性和一致性。
• DI-CNN模型（3600万参数）与参数更多的TRI-CNN模型（4700万参数）达到相同的F1得分，表明双尺度融合已足够且更具效率。
• 多尺度模型优于先前基于自编码器的方法（F1得分：0.934 ± 0.061），证实了显式多尺度特征融合的优势。
• 结果表明，性能提升主要源于感受野扩大和多尺度上下文信息的引入，而非单纯的网络架构复杂性。