[论文解读] Deep Features for Tissue-Fold Detection in Histopathology Images

Morteza Babaie, Hamid R. Tizhoosh|arXiv (Cornell University)|Mar 17, 2019

AI in cancer detection参考文献 22被引用 5

一句话总结

本文提出了一种基于深度学习的方法，利用预训练的卷积神经网络（CNN）作为特征提取器，并结合支持向量机（SVM）分类器，检测全切片图像（WSI）中的组织折叠。使用2.5mm × 2.5mm的H&E染色图像块（20倍放大倍数），DenseNet-201与SVM结合实现了96.3%的准确率（数据增强后达到97.2%），并在未见过的NIH WSI上实现了81%的图像块级准确率，表明该方法在临床质量控制方面具有强大潜力。

ABSTRACT

Whole slide imaging (WSI) refers to the digitization of a tissue specimen which enables pathologists to explore high-resolution images on a monitor rather than through a microscope. The formation of tissue folds occur during tissue processing. Their presence may not only cause out-of-focus digitization but can also negatively affect the diagnosis in some cases. In this paper, we have compared five pre-trained convolutional neural networks (CNNs) of different depths as feature extractors to characterize tissue folds. We have also explored common classifiers to discriminate folded tissue against the normal tissue in hematoxylin and eosin (H\&E) stained biopsy samples. In our experiments, we manually select the folded area in roughly 2.5mm $ imes$ 2.5mm patches at $20$x magnification level as the training data. The ``DenseNet'' with 201 layers alongside an SVM classifier outperformed all other configurations. Based on the leave-one-out validation strategy, we achieved $96.3\%$ accuracy, whereas with augmentation the accuracy increased to $97.2\%$. We have tested the generalization of our method with five unseen WSIs from the NIH (National Cancer Institute) dataset. The accuracy for patch-wise detection was $81\%$. One folded patch within an image suffices to flag the entire specimen for visual inspection.

研究动机与目标

• 解决全切片成像（WSI）中组织折叠带来的挑战，因为其可能影响诊断和扫描质量。
• 开发一种鲁棒、自动化的深度特征方法，用于检测H&E染色活检样本中的折叠组织。
• 评估深度特征在外部数据集（如NIH）不同WSI之间的泛化能力。
• 比较多种预训练CNN与分类器，以实现组织折叠检测的最佳性能。

提出的方法

• 使用预训练的CNN（VGG16、GoogleNet、InceptionV3、ResNet101、DenseNet201）作为特征提取器，对WSI中的2.5mm × 2.5mm图像块进行处理。
• 从每个网络的最后一个全连接层提取特征，并进行L2归一化。
• 使用带有二次核的支持向量机（SVM）作为分类器，基于人工标注的折叠组织与正常组织图像块进行训练。
• 应用数据增强（旋转、翻转）以提高泛化能力并减少假阴性。
• 采用留一法交叉验证进行模型评估，并在NIH数据集的五个未见过的WSI上进行测试，使用不同图像块尺寸（1500×1500至4000×4000）。
• 图像块之间不重叠进行分类，只要检测到至少一个折叠图像块，即标记整个WSI以供人工视觉检查。

实验结果

研究问题

• RQ1 哪种预训练CNN架构能生成最佳深度特征，以区分H&E染色组织病理学图像中的折叠组织与正常组织？
• RQ2 数据增强如何影响组织折叠检测模型的性能与鲁棒性？
• RQ3 在有限且人工精心筛选的数据集上训练的模型，能否有效泛化到其他来源的未见过的全切片图像？
• RQ4 图像块尺寸与窗口化策略对真实WSI评估中检测准确率有何影响？
• RQ5 检测到单个折叠图像块是否足以标记整个WSI以供临床审查？

主要发现

• 使用留一法交叉验证在训练数据集上，DenseNet-201与SVM分类器结合实现了最高的准确率96.3%。
• 通过数据增强，模型准确率提升至97.2%，假阴性率从2.6%降至2.1%。
• 在NIH数据集的五个未见过的WSI上，模型实现了81%的图像块级检测准确率，表明其对新数据具备可接受的泛化能力。
• 数据增强后假阳性率保持不变，表明模型的特异性未发生显著变化。
• 假阴性主要源于折叠区域在图像块边界处部分覆盖，或训练图像块尺寸（5000×5000）与测试窗口尺寸（1500×1500）不匹配。
• 结果表明，即使仅检测到一个折叠图像块，也足以标记整个WSI以供视觉检查，支持其临床实用性。