[论文解读] A State-of-the-art Survey of Artificial Neural Networks for Whole-slide Image Analysis:from Popular Convolutional Neural Networks to Potential Visual Transformers

Xintong Li, Hu, Weiming+6 more|arXiv (Cornell University)|Apr 13, 2021

AI in cancer detection参考文献 133被引用 4

一句话总结

本综述全面回顾了用于全切片图像（WSI）分析的人工神经网络（ANN），涵盖卷积神经网络（CNN）和新兴的视觉变压器（VTs）。它评估了最先进架构、数据集和评估指标，指出从传统ANN向深度神经网络（DNN）的转变，并将视觉变压器识别为未来提升组织病理学图像分类、分割和检测任务中准确性和可解释性的有前景方向。

ABSTRACT

To increase the objectivity and accuracy of pathologists' work, artificial neural network(ANN) methods have been generally needed in the segmentation, classification, and detection of histopathological WSI. In this paper, WSI analysis methods based on ANN are reviewed. Firstly, the development status of WSI and ANN methods is introduced. Secondly, we summarize the common ANN methods. Next, we discuss publicly available WSI datasets and evaluation metrics. These ANN architectures for WSI processing are divided into classical neural networks and deep neural networks(DNNs) and then analyzed. Finally, the application prospect of the analytical method in this field is discussed. The important potential method is Visual Transformers.

研究动机与目标

• 系统回顾人工神经网络（ANN）方法在数字病理学全切片图像（WSI）分析中的应用。
• 分析使用传统神经网络和深度神经网络（DNN）进行WSI处理的演变过程与当前状态。
• 评估用于分类、分割和检测任务的公开WSI数据集和标准评估指标。
• 识别当前WSI分析的局限性，包括数据稀缺性和计算需求，并提出未来研究方向。
• 探索视觉变压器（VTs）作为下一代架构在提升WSI分析性能和可解释性方面的潜力。

提出的方法

• 本文对使用人工神经网络的WSI分析方法进行了结构化文献综述，将方法分类为传统ANN和深度神经网络（DNN）。
• 评估了广泛使用的WSI数据集，如TCGA和Camelyon，并总结了分类、分割和检测任务的标准化评估指标。
• 综述分析了基于图像块的处理策略，即由于高分辨率，将WSI划分为较小区域以实现高效的深度学习推理。
• 分析了关键深度学习架构，包括全卷积网络（FCNs）、ResNets和Mask R-CNN，用于WSI级别预测和目标检测。
• 讨论了将传统机器学习（如随机森林）与深度特征结合的混合方法，以提升分类性能。
• 引入视觉变压器（VTs）作为CNN的有前景替代方案，强调其自注意力机制在捕捉WSI图像块中长程依赖关系方面的作用。

Figure 1: The process of cutting WSI into a patch. The figure matches to Fig.1 in [ 68 ] .

实验结果

研究问题

• RQ1 人工神经网络在数字病理学全切片图像（WSI）分析中的应用经历了怎样的演变？
• RQ2 在WSI分类、分割和目标检测中，最有效的深度学习架构是什么？它们与传统方法相比表现如何？
• RQ3 当前研究中使用的关键公开WSI数据集和评估指标有哪些？它们如何影响模型性能？
• RQ4 当前WSI分析方法在数据可获得性、计算成本和可解释性方面存在哪些局限性？
• RQ5 视觉变压器（VTs）在WSI分析任务中能在多大程度上超越卷积神经网络（CNNs）？其未来发展的潜力如何？

主要发现

• 与传统机器学习方法相比，深度神经网络（DNN），特别是基于CNN的模型，在WSI分类和检测中的准确性显著提升。
• 采用全卷积网络（FCNs）结合随机森林（RF）的基于图像块的方法在肺腺癌WSI分类中达到了97.3%的准确率。
• 针对胃癌分类的定制CNN架构实现了69.90%的整体准确率和81.44%的坏死检测准确率，优于使用传统特征的随机森林和AlexNet。
• 基于支持向量机（SVM）的方法，结合18个强度特征和16个灰度共生矩阵（GLCM）纹理特征，在结肠癌WSI分类中实现了89.51%的平均F-score。
• 多尺度超像素分类方法成功检测出80.00%的异常WSI和83.00%的导管原位癌（DCIS）病灶，显示出在早期癌症检测中的有效性。
• 视觉变压器（VTs）因其能够建模长程空间依赖关系，被识别为极具前景的未来发展方向，有望克服CNN中局部感受野的局限性。

Figure 2: The structure of ANN technology in the ML system.