[论文解读] A Comprehensive Review of Computer-aided Whole-slide Image Analysis: from Datasets to Feature Extraction, Segmentation, Classification, and Detection Approaches

Chen Li, Xintong Li+9 more|arXiv (Cornell University)|Feb 21, 2021

AI in cancer detection被引用 10

一句话总结

本综述系统性地整合了数字病理学中全切片图像（WSI）分析的最先进机器学习方法，涵盖数据集、特征提取、分割、分类和检测。研究指出，深度学习（尤其是U-Net用于分割和CNN用于分类）在性能上显著优于传统方法，并指出了关键挑战，如标注数据集有限以及对高效、可解释模型的需求。

ABSTRACT

With the development of computer-aided diagnosis (CAD) and image scanning technology, Whole-slide Image (WSI) scanners are widely used in the field of pathological diagnosis. Therefore, WSI analysis has become the key to modern digital pathology. Since 2004, WSI has been used more and more in CAD. Since machine vision methods are usually based on semi-automatic or fully automatic computers, they are highly efficient and labor-saving. The combination of WSI and CAD technologies for segmentation, classification, and detection helps histopathologists obtain more stable and quantitative analysis results, save labor costs and improve diagnosis objectivity. This paper reviews the methods of WSI analysis based on machine learning. Firstly, the development status of WSI and CAD methods are introduced. Secondly, we discuss publicly available WSI datasets and evaluation metrics for segmentation, classification, and detection tasks. Then, the latest development of machine learning in WSI segmentation, classification, and detection are reviewed continuously. Finally, the existing methods are studied, the applicabilities of the analysis methods are analyzed, and the application prospects of the analysis methods in this field are forecasted.

研究动机与目标

• 提供数字病理学中计算机辅助全切片图像（WSI）分析方法的系统性综述。
• 分析公开可用的WSI数据集及分割、分类和检测任务的标准评估指标。
• 评估机器学习技术（尤其是深度学习）在WSI分析任务中的演变与性能表现。
• 识别当前方法的局限性，如大规模标注数据集的缺乏以及模型可解释性的不足。
• 预测未来研究方向，包括面向临床部署的高效且可解释的深度学习模型。

提出的方法

• 调查并分类了公开可用的WSI数据集，包括TCGA和Camelyon1-HE，重点关注标注质量及任务特定的实用性。
• 回顾了特征提取技术，包括手工设计特征（颜色、纹理、形状）以及基于预训练CNN的深度学习特征。
• 分析了分割方法，区分了阈值法、基于区域的方法、基于图的方法、聚类方法以及深度学习方法，其中U-Net成为主导架构。
• 评估了分类技术，重点聚焦于集成学习、多实例学习（MIL）以及卷积神经网络（CNN），尤其在肿瘤检测中的应用。
• 调查了目标检测方法，包括Mask R-CNN、YOLO和上下文感知网络，应用于WSI以识别病理结构。
• 评估了各类任务中的性能指标，如Dice分数、AUC、精确率、召回率和F1分数，强调评估标准的统一性。

Figure 1: The workflow of the proposed whole-slide imaging. (1) is the glass slide Amin-2008-AWSI . (2) whole mount glass slides. (3) whole slide imaging scanner. (4) digital whole image Farahani-2015-WSIP .

实验结果

研究问题

• RQ1 当前研究中最广泛使用的WSI数据集是什么？其标注如何支持不同的分析任务？
• RQ2 WSI分析中，从手工设计特征到基于深度学习的表征，特征提取技术如何演变？
• RQ3 与经典方法相比，U-Net及其他深度学习模型在WSI分割中的主要优势与局限性是什么？
• RQ4 集成学习与MIL如何提升基于WSI的诊断中分类性能？
• RQ5 在高分辨率WSI中识别病理对象方面，最具前景的检测框架是什么？它们如何处理尺度与上下文信息？

主要发现

• 由于性能优越且对噪声具有强鲁棒性，深度学习模型（尤其是U-Net）已成为WSI分割的行业标准。
• TCGA和Camelyon1-HE是WSI研究中最常使用的数据集，其中Camelyon1-HE是乳腺癌检测的基准数据集。
• 基于CNN的模型在分类和检测任务中优于传统机器学习方法，在标准基准上实现了高AUC和F1分数。
• 特征提取已从颜色和纹理描述符演进为层次化的深度特征，显著提升了下游任务的准确性。
• 尽管已有进展，当前方法仍对数据集偏差敏感且缺乏可解释性，凸显了临床环境中可解释AI的必要性。
• 如特征引导网络（Feature Guide Networks）所示，语义上下文与多尺度特征学习的结合，可显著提升复杂组织学场景下的检测性能。

Figure 2: The development trend of computer-aided viewing of WSIs. The horizontal direction shows the time. The vertical direction shows the cumulative number of related works in each year.