[论文解读] Deep Learning in Breast Cancer Imaging: A Decade of Progress and Future Directions

Luyang Luo, Xi Wang+8 more|arXiv (Cornell University)|Apr 13, 2023

AI in cancer detection被引用 5

一句话总结

本文综述了过去十年在乳腺癌影像领域深度学习技术的发展，涵盖乳腺X线摄影、超声、磁共振成像（MRI）和数字病理学。文章整合了在筛查、诊断、治疗反应预测和预后评估方面的进展，识别了临床转化中的关键挑战及未来研究方向。

ABSTRACT

Breast cancer has reached the highest incidence rate worldwide among all malignancies since 2020. Breast imaging plays a significant role in early diagnosis and intervention to improve the outcome of breast cancer patients. In the past decade, deep learning has shown remarkable progress in breast cancer imaging analysis, holding great promise in interpreting the rich information and complex context of breast imaging modalities. Considering the rapid improvement in deep learning technology and the increasing severity of breast cancer, it is critical to summarize past progress and identify future challenges to be addressed. This paper provides an extensive review of deep learning-based breast cancer imaging research, covering studies on mammogram, ultrasound, magnetic resonance imaging, and digital pathology images over the past decade. The major deep learning methods and applications on imaging-based screening, diagnosis, treatment response prediction, and prognosis are elaborated and discussed. Drawn from the findings of this survey, we present a comprehensive discussion of the challenges and potential avenues for future research in deep learning-based breast cancer imaging.

研究动机与目标

• 系统性回顾过去十年中深度学习在乳腺癌影像领域的发展与影响。
• 分析深度学习在多种影像模态（包括乳腺X线摄影、超声、MRI和H&E病理切片）中的应用。
• 识别临床部署中的关键挑战，如数据稀缺性、可解释性以及泛化能力问题。
• 概述未来研究方向，以提升深度学习模型在乳腺癌诊疗中的准确性、可靠性及临床整合能力。

提出的方法

• 对2013年至2023年期间发表的乳腺癌影像领域深度学习相关同行评审文献进行了全面调研。
• 根据影像模态（乳腺X线片、超声、MRI、H&E病理）、任务类型（筛查、诊断、治疗反应、预后）和模型架构对研究进行分类。
• 评估了卷积神经网络（CNNs）、U-Net、ResNet、Transformer、孪生网络和图神经网络等深度学习技术在特征提取与分类中的应用。
• 利用多模态学习框架（如多模态紧凑双线性池化和集成模型）整合临床与影像数据。
• 采用标准化指标（如AUC、准确率、敏感性、特异性以及生存与复发预测的C指数）分析模型性能。
• 讨论了可解释性技术及真实世界部署所需的临床验证要求。

Figure 1 : Overview of deep learning in breast cancer imaging. Typical imaging techniques include mammogram, ultrasound, magnetic resonance imaging (MRI), and pathology images. Deep learning is often used for screening, diagnosis, treatment response prediction, and prognosis.

实验结果

研究问题

• RQ1 过去十年中，不同乳腺癌影像模态的深度学习模型在性能与架构方面如何演变？
• RQ2 在新辅助化疗后预测病理完全缓解（pCR）方面，哪些深度学习方法最为有效？
• RQ3 结合影像与临床数据的多模态融合策略如何提升乳腺癌的预后预测能力？
• RQ4 限制深度学习在乳腺癌影像中真实世界应用的关键技术与临床障碍有哪些？
• RQ5 为提升深度学习模型在乳腺癌诊疗中的临床实用性与可解释性，未来哪些研究方向最为关键？

主要发现

• 在使用新辅助化疗前后超声和MRI影像的研究中，深度学习模型在pCR预测方面表现优异，AUC超过0.90。
• Transformer与双分支CNN在时序建模连续超声图像以预测治疗反应方面表现出更优性能。
• 全切片图像、临床数据与基因组特征的多模态融合在多项研究中将5年生存预测的AUC提升至0.85或以上。
• 图神经网络实现了对肿瘤浸润淋巴细胞与肿瘤区域之间空间相互作用的可解释性建模，提升了复发预测能力。
• 预训练模型（如ResNet18和基于ViT的架构）显著提升了病理图像分析中的特征提取效果，尤其在数据量较少的情况下表现更优。
• 尽管在研究环境中表现强劲，但跨不同人群和影像协议的泛化能力仍是重大挑战，外部验证中性能显著下降。

Figure 2 : Number of representative papers on deep learning for breast cancer imaging published from 2012 to 2022.