[论文解读] A Deep Learning Study on Osteosarcoma Detection from Histological Images

DM Anisuzzaman, Hosein Barzekar+3 more|arXiv (Cornell University)|Nov 2, 2020

AI in cancer detection参考文献 22被引用 6

一句话总结

本研究提出了一种基于迁移学习的深度学习框架，采用VGG19和Inception V3模型对全切片图像（WSIs）进行处理，以检测骨肉瘤的恶性程度。在二分类任务中实现了96%的准确率，在多分类任务中达到93.91%的准确率，优于先前方法，在公开的骨肉瘤数据集上建立了最先进性能。

ABSTRACT

In the U.S, 5-10\% of new pediatric cases of cancer are primary bone tumors. The most common type of primary malignant bone tumor is osteosarcoma. The intention of the present work is to improve the detection and diagnosis of osteosarcoma using computer-aided detection (CAD) and diagnosis (CADx). Such tools as convolutional neural networks (CNNs) can significantly decrease the surgeon's workload and make a better prognosis of patient conditions. CNNs need to be trained on a large amount of data in order to achieve a more trustworthy performance. In this study, transfer learning techniques, pre-trained CNNs, are adapted to a public dataset on osteosarcoma histological images to detect necrotic images from non-necrotic and healthy tissues. First, the dataset was preprocessed, and different classifications are applied. Then, Transfer learning models including VGG19 and Inception V3 are used and trained on Whole Slide Images (WSI) with no patches, to improve the accuracy of the outputs. Finally, the models are applied to different classification problems, including binary and multi-class classifiers. Experimental results show that the accuracy of the VGG19 has the highest, 96\%, performance amongst all binary classes and multiclass classification. Our fine-tuned model demonstrates state-of-the-art performance on detecting malignancy of Osteosarcoma based on histologic images.

研究动机与目标

• 通过基于深度学习的计算机辅助诊断（CADx）方法，提高组织学图像中骨肉瘤检测的准确性。
• 通过利用预训练模型的迁移学习技术，解决骨肉瘤组织学图像中训练数据有限的挑战。
• 评估VGG19和Inception V3在不进行基于图像块处理的情况下，直接应用于全切片图像（WSIs）的性能。
• 将所提出的模型性能与现有深度学习模型在相同公开数据集上的表现进行比较。
• 建立一种可靠、自动化的工具，协助病理科医生识别骨肉瘤恶性程度的早期迹象。

提出的方法

• 在公开的骨肉瘤组织学图像数据集上，微调预训练的VGG19和Inception V3模型。
• 通过使用ImageNet预训练权重初始化模型，并在骨肉瘤数据集上重新训练全连接层和输出层，实现迁移学习。
• 直接处理全切片图像（WSIs），不进行图像块提取，以保留空间上下文信息并减少数据碎片化。
• 执行二分类和多分类任务，以区分非肿瘤组织、坏死肿瘤组织和存活肿瘤组织。
• 采用正则化和优化技术，减少过拟合并提升模型泛化能力。
• 使用准确率、F1-score进行模型性能评估，并与先前工作在相同数据集上的结果进行对比。

实验结果

研究问题

• RQ1 在数据有限的情况下，使用VGG19和Inception V3等预训练CNN模型进行迁移学习，能否在骨肉瘤组织学图像分类中实现高准确率？
• RQ2 在全切片图像上，VGG19在检测坏死肿瘤和存活肿瘤组织方面的性能与Inception V3相比如何？
• RQ3 与基于图像块的处理方式相比，使用全切片图像是否能提升骨肉瘤检测中的分类准确率？
• RQ4 所提出的深度学习框架能否在相同公开骨肉瘤数据集上超越现有CNN模型的性能？
• RQ5 类别不平衡对模型性能有何影响，特别是对代表性不足的肿瘤类型？

主要发现

• VGG19模型在二分类任务中实现了96%的最高准确率，优于Inception V3及先前的深度学习模型。
• 在多分类任务中，VGG19达到93.91%的准确率，表现出在非肿瘤组织、坏死肿瘤组织和存活肿瘤组织三类中的强大泛化能力。
• 在坏死肿瘤与非肿瘤的二分类任务中，F1-score达到0.97，表明模型具有高精度和高召回率。
• 与先前工作相比，模型整体准确率提升了2%，包括Arunachalam等人提出的CNN模型。
• 非肿瘤组织分类的准确率最高（95.45%），可能由于类别不平衡——非肿瘤图像有536张，而存活肿瘤和坏死肿瘤图像数量较少。
• 本研究首次将VGG19和Inception V3直接应用于全切片图像进行骨肉瘤检测，为该领域设立了新的基准。