[论文解读] An Efficient Cervical Whole Slide Image Analysis Framework Based on Multi-scale Semantic and Spatial Features using Deep Learning.

Ziquan Wei, Shenghua Cheng+2 more|arXiv (Cornell University)|Jun 29, 2021

AI in cancer detection被引用 2

一句话总结

该论文提出 YOLCO，一种轻量级深度学习框架，通过内联连接网络（InCNet）利用多尺度语义与空间特征，实现高效、无重叠的全切片图像（WSI）分析，用于宫颈癌诊断。通过将特征提取重复次数从 10³–10⁴ 降低至 10¹–10²，并引入空间监督，YOLCO 在包含 2,019 张切片的多队列 WSI 数据集上实现了 0.872 AUC 的 AUC 与最佳传统方法相比推理速度提升 2.51 倍。

ABSTRACT

Digital gigapixel whole slide image (WSI) is widely used in clinical diagnosis, and automated WSI analysis is key for computer-aided diagnosis. Currently, analyzing the integrated descriptor of probabilities or feature maps from massive local patches encoded by ResNet classifier is the main manner for WSI-level prediction. Feature representations of the sparse and tiny lesion cells in cervical slides, however, are still challengeable for the under-promoted upstream encoders, while the unused spatial representations of cervical cells are the available features to supply the semantics analysis. As well as patches sampling with overlap and repetitive processing incur the inefficiency and the unpredictable side effect. This study designs a novel inline connection network (InCNet) by enriching the multi-scale connectivity to build the lightweight model named You Only Look Cytopathology Once (YOLCO) with the additional supervision of spatial information. The proposed model allows the input size enlarged to megapixel that can stitch the WSI without any overlap by the average repeats decreased from $10^3\sim10^4$ to $10^1\sim10^2$ for collecting features and predictions at two scales. Based on Transformer for classifying the integrated multi-scale multi-task features, the experimental results appear $0.872$ AUC score better and $2.51 imes$ faster than the best conventional method in WSI classification on multicohort datasets of 2,019 slides from four scanning devices.

研究动机与目标

• 解决全切片图像（WSI）分析中因重叠切片采样与重复处理导致的低效与不稳定性问题。
• 通过利用未使用的空间信息，提升宫颈 WSI 中稀疏与微小病灶细胞的表征能力。
• 设计一种轻量级模型，实现在无重叠切片下的大输入推理，减少计算冗余。
• 通过多任务学习框架中的额外空间监督，增强多尺度特征的语义理解。
• 在多种扫描设备与多队列数据集上，实现 WSI 级分类的高精度与高速度。

提出的方法

• 提出一种内联连接网络（InCNet），通过增强多尺度特征连接性，在减少参数量的同时提升特征表征能力。
• 引入一种新型的 You Only Look Cytopathology Once（YOLCO）框架，实现无重叠的百万像素级输入切片处理，将重复推理次数从 10³–10⁴ 降低至 10¹–10²。
• 引入空间监督，以保留并利用宫颈细胞的几何与位置线索，增强对稀疏病灶的语义理解。
• 采用基于 Transformer 的分类器，融合来自语义分支与空间分支的多尺度、多任务特征，实现稳健的 WSI 级预测。
• 采用双尺度特征提取策略——在不同分辨率下收集特征与预测结果——以提升对微小及细微病理改变的检测能力。
• 通过联合优化分类与空间特征学习目标，端到端训练模型，提升在低对比度与罕见病灶细胞上的性能。

实验结果

研究问题

• RQ1 一种轻量级、端到端的深度学习框架能否通过消除重叠切片采样，减少 WSI 分析中的计算冗余？
• RQ2 整合空间信息在提升稀疏与微小宫颈病灶细胞检测能力方面效果如何？
• RQ3 多尺度特征融合在来自多种扫描设备的多样化 WSI 数据集上，对分类性能的提升程度如何？
• RQ4 基于 Transformer 的分类器能否有效聚合多尺度、多任务特征，以提升 WSI 级诊断的准确性？
• RQ5 在无重叠处理百万像素级 WSI 切片时，推理速度与诊断性能之间的权衡关系如何？

主要发现

• YOLCO 通过支持无重叠的百万像素级输入处理，将重复特征提取操作次数从 10³–10⁴ 降低至 10¹–10²。
• 在来自四种不同扫描设备的 2,019 张宫颈 WSI 切片的多队列数据集上，模型实现了 0.872 的 AUC 评分。
• 与最佳传统方法相比，YOLCO 在 WSI 分类中实现了 2.51 倍的速度提升，显著提高了推理效率。
• 空间监督的整合增强了对罕见与微小病灶细胞的特征表征，提升了语义理解能力，超越标准特征图的表达。
• 基于 Transformer 的多尺度、多任务学习框架实现了更稳健且泛化能力更强的 WSI 级预测，适用于多样化的成像条件。
• 所提出的框架在多种扫描设备上均保持高性能，表明其在真实临床环境中的强大泛化能力。