[论文解读] Ensemble Transfer Learning of Elastography and B-mode Breast Ultrasound Images

Sampa Misra, Seungwan Jeon+6 more|arXiv (Cornell University)|Feb 17, 2021

AI in cancer detection参考文献 33被引用 4

一句话总结

本研究提出一种集成迁移学习模型，结合AlexNet和ResNet的特征，利用B型和应变弹性成像超声图像对良性与恶性乳腺肿瘤进行分类。通过利用85名患者的261对B-US与SE-US图像，该模型实现了88.89%的敏感度和91.10%的特异度，优于人工诊断，实现了早期、可靠的乳腺癌检测。

ABSTRACT

Computer-aided detection (CAD) of benign and malignant breast lesions becomes increasingly essential in breast ultrasound (US) imaging. The CAD systems rely on imaging features identified by the medical experts for their performance, whereas deep learning (DL) methods automatically extract features from the data. The challenge of the DL is the insufficiency of breast US images available to train the DL models. Here, we present an ensemble transfer learning model to classify benign and malignant breast tumors using B-mode breast US (B-US) and strain elastography breast US (SE-US) images. This model combines semantic features from AlexNet & ResNet models to classify benign from malignant tumors. We use both B-US and SE-US images to train the model and classify the tumors. We retrospectively gathered 85 patients' data, with 42 benign and 43 malignant cases confirmed with the biopsy. Each patient had multiple B-US and their corresponding SE-US images, and the total dataset contained 261 B-US images and 261 SE-US images. Experimental results show that our ensemble model achieves a sensitivity of 88.89% and specificity of 91.10%. These diagnostic performances of the proposed method are equivalent to or better than manual identification. Thus, our proposed ensemble learning method would facilitate detecting early breast cancer, reliably improving patient care.

研究动机与目标

• 为解决用于训练深度学习模型的标注乳腺超声图像数量有限的问题。
• 通过多模态超声成像提高良性与恶性乳腺肿瘤分类的诊断准确性。
• 开发一种迁移学习框架，结合预训练卷积神经网络（AlexNet和ResNet）的语义特征，以增强特征提取能力。
• 在回顾性配对B型与弹性成像超声图像数据集上评估集成模型的性能。

提出的方法

• 该模型采用迁移学习方法，使用在B型和应变弹性成像超声图像上微调的预训练AlexNet和ResNet架构。
• 将两个网络最后全连接层的语义特征拼接，形成统一的特征表示。
• 采用集成学习策略，结合两个网络的特征嵌入，以提升泛化能力和分类鲁棒性。
• 将融合后的特征输入分类器，使用二元交叉熵损失函数区分良性与恶性肿瘤。
• 该方法在包含85名经活检证实患者的261对B-US与261对SE-US图像的回顾性数据集上进行训练与验证。
• 应用数据增强和迁移学习技术，以缓解数据稀缺问题并提升模型泛化能力。

实验结果

研究问题

• RQ1 集成迁移学习模型是否能提升使用B型和弹性成像超声图像进行乳腺肿瘤诊断的分类性能？
• RQ2 将多个预训练CNN（AlexNet和ResNet）的特征进行融合，与单模型方法相比，能否显著提高诊断准确性？
• RQ3 B型与弹性成像模态的整合在多大程度上提升了乳腺病灶分类的敏感度与特异度？
• RQ4 所提出的方法是否实现了与人工放射科阅片相当或更优的性能？

主要发现

• 集成模型在检测恶性乳腺肿瘤方面达到了88.89%的敏感度。
• 该模型在正确识别良性病灶方面表现出91.10%的特异度。
• 所提方法的诊断性能与或优于放射科医生的人工识别结果。
• B型与弹性成像图像的结合显著提升了分类准确性，优于单独使用任一模态。
• 采用预训练的AlexNet和ResNet模型进行迁移学习，有效缓解了乳腺超声成像中的数据稀缺问题。
• 集成方法优于单模型基线，证实了来自多个深度学习架构的特征融合具有显著优势。