[论文解读] Classifying Symmetrical Differences and Temporal Change in Mammography Using Deep Neural Networks

Thijs Kooi, Nico Karssemeijer|arXiv (Cornell University)|Mar 22, 2017

AI in cancer detection被引用 3

一句话总结

本文提出了一种深度学习框架，通过使用双流卷积神经网络（CNN）整合对称性和时间上下文信息，提升乳腺X线摄影中肿块的检测性能。该方法比较了两种融合策略——对侧乳腺与主侧乳腺图像的早期融合，以及分阶段特征提取方法，分别在对称性分析和时间变化分析中取得AUC为0.895和0.884的性能，相较于基线模型在对称性检测方面表现出统计学上显著的提升。

ABSTRACT

We investigate the addition of symmetry and temporal context information to a deep Convolutional Neural Network (CNN) with the purpose of detecting malignant soft tissue lesions in mammography. We employ a simple linear mapping that takes the location of a mass candidate and maps it to either the contra-lateral or prior mammogram and Regions Of Interest (ROI) are extracted around each location. We subsequently explore two different architectures (1) a fusion model employing two datastreams were both ROIs are fed to the network during training and testing and (2) a stage-wise approach where a single ROI CNN is trained on the primary image and subsequently used as feature extractor for both primary and symmetrical or prior ROIs. A 'shallow' Gradient Boosted Tree (GBT) classifier is then trained on the concatenation of these features and used to classify the joint representation. Results shown a significant increase in performance using the first architecture and symmetry information, but only marginal gains in performance using temporal data and the other setting. We feel results are promising and can greatly be improved when more temporal data becomes available.

研究动机与目标

• 通过整合对称性和时间上下文信息，提升乳腺X线摄影中恶性肿块计算机辅助检测（CAD）的性能。
• 探究深度神经网络是否能够有效利用对侧乳腺图像和既往乳腺X线片，以提升病灶检测能力。
• 评估两种不同的融合架构，用于在深度学习框架中结合对称性和时间信息。
• 确定整合多视角和纵向数据是否能带来相较于基线模型可测量的诊断性能提升。
• 探索利用深度学习建模不对称性和变化作为筛查乳腺X线摄影中恶性肿瘤指标的可行性。

提出的方法

• 从主侧和对侧乳腺X线片或既往检查中提取肿块候选区域的感兴趣区域（ROIs）。
• 采用两种不同的CNN架构：(1) 双流融合模型，同时处理两个ROIs；(2) 分阶段模型，使用预训练CNN分别提取主侧和对侧/既往ROIs的特征。
• 将两路特征拼接后，使用浅层梯度提升树（GBT）分类器对联合表征进行训练。
• 通过线性映射对齐对侧和既往图像中的肿块位置，以实现一致的ROI提取。
• 所有网络均从零开始训练，并对融合策略和架构选择进行消融实验。
• 应用置信区间和统计检验（p值）评估性能提升相对于基线的显著性。

实验结果

研究问题

• RQ1 深度神经网络能否有效利用左右乳腺之间的对称性，以提升乳腺X线摄影中恶性肿块的检测性能？
• RQ2 在CAD系统中整合既往乳腺X线片中的时间变化信息，是否能提升对恶性肿块的检测性能？
• RQ3 在对称性和时间分析中，哪种融合策略——双流输入的早期融合还是分阶段特征提取——能带来更好的诊断性能？
• RQ4 对称性和时间上下文带来的性能提升是否具有统计学显著性，尤其是在高特异性条件下？
• RQ5 更多时间数据的可用性如何影响此类深度学习模型的可扩展性和性能？

主要发现

• 双流融合模型在对称性分析中达到AUC 0.895，显著优于基线AUC 0.87（在高特异性条件下p = 0.02）。
• 分阶段方法在对称性分析中达到AUC 0.88，同样优于基线，但提升幅度小于融合模型。
• 在时间变化检测方面，双流模型达到AUC 0.884，分阶段模型达到0.879，两者均表现出一致但不显著的性能提升。
• 结果表明，基于对称性的特征能带来比时间特征更显著的性能增益，可能是因为双侧对比提供了更丰富的结构线索。
• 作者观察到，时间分析带来的性能增益虽具潜力但较为微弱，预计在更大数据集下将实现显著提升。
• 本研究证明，深度学习模型能够有效将多模态上下文信息（对称性与时间）整合进CAD系统，具有在医学影像中更广泛应用的潜力。