[论文解读] Adaptation of a deep learning malignancy model from full-field digital mammography to digital breast tomosynthesis

Sadanand Singh, Thomas P. Matthews+7 more|arXiv (Cornell University)|Jan 23, 2020

AI in cancer detection参考文献 20被引用 4

一句话总结

本文提出一种领域自适应方法，将基于全视野数字乳腺摄影（FFDM）训练的深度学习恶性肿瘤模型迁移至数字乳腺断层摄影（DBT），方法基于最大强度投影（MIP）图像。通过应用平均直方图匹配以减少领域差异，并结合SpotTune进行微调，该模型在DBT MIP图像上的受试者工作特征曲线下面积（ROC AUC）达到0.847，显著优于直接在MIP图像上测试的结果（AUC ≈ 0.75），并证明了在DBT数据有限的情况下仍能实现有效的模型迁移。

ABSTRACT

Mammography-based screening has helped reduce the breast cancer mortality rate, but has also been associated with potential harms due to low specificity, leading to unnecessary exams or procedures, and low sensitivity. Digital breast tomosynthesis (DBT) improves on conventional mammography by increasing both sensitivity and specificity and is becoming common in clinical settings. However, deep learning (DL) models have been developed mainly on conventional 2D full-field digital mammography (FFDM) or scanned film images. Due to a lack of large annotated DBT datasets, it is difficult to train a model on DBT from scratch. In this work, we present methods to generalize a model trained on FFDM images to DBT images. In particular, we use average histogram matching (HM) and DL fine-tuning methods to generalize a FFDM model to the 2D maximum intensity projection (MIP) of DBT images. In the proposed approach, the differences between the FFDM and DBT domains are reduced via HM and then the base model, which was trained on abundant FFDM images, is fine-tuned. When evaluating on image patches extracted around identified findings, we are able to achieve similar areas under the receiver operating characteristic curve (ROC AUC) of $\sim 0.9$ for FFDM and $\sim 0.85$ for MIP images, as compared to a ROC AUC of $\sim 0.75$ when tested directly on MIP images.

研究动机与目标

• 为应对DBT标注数据有限的挑战，将预训练的FFDM恶性肿瘤模型适配至DBT检查。
• 通过图像预处理技术减少FFDM与DBT图像分布之间的领域差异。
• 评估迁移学习与自适应微调策略在DBT MIP图像上的有效性，且目标领域数据极少。
• 在无需从头开始在大规模DBT数据集上训练的前提下，提升DBT上的恶性肿瘤分类性能。

提出的方法

• 本研究使用最大强度投影（MIP）将3D DBT影像转换为2D图像，以兼容现有的FFDM模型。
• 应用平均直方图匹配（HM）对齐FFDM与DBT MIP图像的灰度分布，以减少领域差异。
• 对在FFDM上预训练的深度学习模型，在DBT MIP图像上进行微调，对比是否应用HM。
• 采用SpotTune（一种可学习的微调策略），根据输入图像特征选择性地更新网络中的特定残差块。
• 通过在放射科医生标注病灶周围的图像块上计算ROC AUC来评估性能。
• 该方法利用大规模FFDM数据集的迁移学习能力，将对新DBT数据标注的需求降至最低。

实验结果

研究问题

• RQ1 能否在DBT标注数据极少的情况下，有效将FFDM上训练的深度学习恶性肿瘤模型适配至DBT MIP图像？
• RQ2 直方图匹配在减少FFDM与DBT图像分布之间领域差异方面的有效性如何？
• RQ3 与直接推理相比，微调或SpotTune是否能提升模型在DBT MIP图像上的性能？
• RQ4 与未进行预训练、直接在DBT MIP图像上训练的基线模型相比，适配后模型的性能如何？
• RQ5 在实现DBT高性能表现方面，预处理（HM）与模型适配（微调）的相对贡献分别是什么？

主要发现

• 仅使用直方图匹配即取得最佳性能，DBT MIP图像上的ROC AUC达到0.847，优于所有其他适配策略。
• 未使用直方图匹配时，微调与SpotTune分别将性能从基线AUC ≈ 0.75提升至0.837与0.830。
• 在完成直方图匹配后，SpotTune与标准微调之间的性能差距缩小，表明对网络进行大规模更新的需求降低。
• 模型在FFDM图像块上的ROC AUC达到≈0.9，表明其在源领域具有强大的基线性能。
• 结果表明，通过预处理（HM）减少领域差异，比采用复杂的微调策略更为有效，尤其在目标数据有限时。
• 本研究证明，即使目标领域标注数据极少，也可实现对新型影像模态的有效模型迁移。