[论文解读] A Guided Spatial Transformer Network for Histology Cell Differentiation

Marc Aubreville, Maximilian Krappmann+3 more|arXiv (Cornell University)|Jan 1, 2017

AI in cancer detection参考文献 9被引用 5

一句话总结

本文提出一种集成于深度卷积神经网络的引导式空间变换网络（STN），用于自动化组织病理学细胞分类，重点针对有丝分裂象、正常肿瘤细胞和粒细胞。通过使用包含10,000个标注细胞的新颖数据集及联合定位-分类损失，该模型在五折交叉验证中实现91.45%的平均准确率，显著提升了有丝分裂计数的鲁棒性，并减少了观察者间的差异性。

ABSTRACT

Identification and counting of cells and mitotic figures is a standard task in diagnostic histopathology. Due to the large overall cell count on histological slides and the potential sparse prevalence of some relevant cell types or mitotic figures, retrieving annotation data for sufficient statistics is a tedious task and prone to a significant error in assessment. Automatic classification and segmentation is a classic task in digital pathology, yet it is not solved to a sufficient degree. We present a novel approach for cell and mitotic figure classification, based on a deep convolutional network with an incorporated Spatial Transformer Network. The network was trained on a novel data set with ten thousand mitotic figures, about ten times more than previous data sets. The algorithm is able to derive the cell class (mitotic tumor cells, non-mitotic tumor cells and granulocytes) and their position within an image. The mean accuracy of the algorithm in a five-fold cross-validation is 91.45%. In our view, the approach is a promising step into the direction of a more objective and accurate, semi-automatized mitosis counting supporting the pathologist.

研究动机与目标

• 为解决病理科医生因主观选择高倍视野而导致的有丝分裂象计数高观察者间差异性问题。
• 克服现有数据集规模小、不足以训练鲁棒的深度学习模型用于有丝分裂检测的局限性。
• 开发一种半自动、客观的系统，通过识别具有高有丝分裂活性的代表性区域，辅助病理科医生。
• 通过空间注意力机制引入空间变换网络（STN），以提升对稀疏、形态多变细胞类型的定位与分类性能。
• 为未来数字病理学研究创建一个大规模、高质量、由病理科医生标注的10,000个细胞/类的数据集。

提出的方法

• 通过在深度卷积神经网络中引入空间变换网络（STN），使网络能够动态聚焦于包含罕见细胞类型（如有丝分裂象或粒细胞）的相关图像区域。
• STN从输入图像中预测一个裁剪区域（包含平移、缩放和旋转参数），该区域随后输入分类头进行分类。
• 采用联合损失函数，结合定位损失（lloc）与分类损失（lcla），并引入加权因子κ，实现端到端训练。
• 模型在新整理的10,000张H&E染色组织病理学图像数据集上进行训练，病理科医生对三类细胞（有丝分裂肿瘤细胞、非有丝分裂肿瘤细胞和粒细胞）进行了验证标注。
• 训练采用五折交叉验证，结合数据增强，学习率为10⁻³，共训练200个周期。
• 该方法将定位与分类解耦，降低计算复杂度，同时保持高性能。

实验结果

研究问题

• RQ1 在训练数据有限的情况下，引导式空间变换网络能否提升组织病理学图像中细胞类型分类的准确性？
• RQ2 通过联合优化定位与分类的联合损失函数，能否提升对有丝分裂象等稀有、形态多变细胞类型的检测能力？
• RQ3 一个包含10,000个标注细胞/类的大型高质量数据集，是否能实现比以往数据集更好的泛化能力，用于有丝分裂检测？
• RQ4 STN-based注意力机制在多大程度上减少了对随机视野选择的依赖，并提升了有丝分裂计数的客观性？
• RQ5 在三类组织病理学细胞分类任务中，所提出方法与标准CNN基线模型相比，在精确率、召回率和F1-score方面表现如何？

主要发现

• 所提出的CNN-STN模型在五折交叉验证中实现了91.45%的平均准确率，显著优于基线12层CNN模型。
• 模型的精确率在90.4%至93.4%之间，召回率在90.1%至92.8%之间，表明在三类细胞上均表现出强大且均衡的性能。
• 基线CNN的平均F1-score为0.869，而CNN-STN将其提升至0.915，显示出显著的性能提升。
• 误分类多由STN的错误定位引起，但并非主要缺陷，因为模型优先关注稀疏事件，可能仍能正确识别邻近细胞。
• 本研究引入了一个包含10,000张病理科医生标注的细胞图像/类的新数据集，其规模是以往数据集的十倍，适用于迁移学习。
• 将STN与分类任务结合，使网络能够学习注意力机制，从而提升对有丝分裂象形态变异的鲁棒性。