[论文解读] Multi-task Graph Convolutional Neural Network for Calcification Morphology and Distribution Analysis in Mammograms

Hao Du, Melissa Min-Szu Yao+3 more|arXiv (Cornell University)|May 14, 2021

AI in cancer detection参考文献 35被引用 6

一句话总结

本文提出一种多任务图卷积神经网络（GCN），分别将乳腺X线片中的微钙化形态和分布建模为节点分类和图分类任务。通过将钙化转化为空间图结构，并利用多任务学习共享表征，该方法在分类形态和分布类型方面均达到最先进性能，显著提升了单任务和基线模型的泛化能力与临床可解释性。

ABSTRACT

The morphology and distribution of microcalcifications in a cluster are the most important characteristics for radiologists to diagnose breast cancer. However, it is time-consuming and difficult for radiologists to identify these characteristics, and there also lacks of effective solutions for automatic characterization. In this study, we proposed a multi-task deep graph convolutional network (GCN) method for the automatic characterization of morphology and distribution of microcalcifications in mammograms. Our proposed method transforms morphology and distribution characterization into node and graph classification problem and learns the representations concurrently. Through extensive experiments, we demonstrate significant improvements with the proposed multi-task GCN comparing to the baselines. Moreover, the achieved improvements can be related to and enhance clinical understandings. We explore, for the first time, the application of GCNs in microcalcification characterization that suggests the potential of graph learning for more robust understanding of medical images.

研究动机与目标

• 为解决ACR BI-RADS要求中缺乏对乳腺X线片中微钙化形态与分布进行自动表征分析的方法问题。
• 利用图表示建模微钙化之间的空间关系，捕捉局部与全局结构模式。
• 通过多任务训练联合学习形态（节点级）与分布（图级）特征，提升分类性能。
• 通过钙化特征的结构化表示，模仿放射科医生的推理过程，增强临床可解释性。
• 探索图神经网络在医学图像分析中的潜力，以实现更稳健、可解释的乳腺癌诊断。

提出的方法

• 将乳腺X线片中检测到的微钙化转化为图结构，其中每个钙化为一个节点，边由空间邻近性定义（使用KNN或基于半径的准则）。
• 使用卷积神经网络（CNN）从每个钙化区域提取局部图像块特征，作为节点表征。
• 应用深度图卷积网络（GCN）聚合邻近节点的特征，捕捉拓扑与几何关系。
• 实施多任务学习框架，使GCN同时执行节点分类（形态）与图分类（分布），并共享编码器层。
• 通过组合多种图结构（如KNN图与基于半径的图）实现多图融合，提升模型鲁棒性与表征学习能力。
• 采用端到端训练，对两个任务均使用交叉熵损失，通过共享头与任务特定头实现联合优化。

实验结果

研究问题

• RQ1 图卷积网络能否有效建模微钙化之间的空间关系，从而提升乳腺X线片中形态与分布的分类性能？
• RQ2 在形态与分布分类之间共享表征的多任务学习是否优于单任务基线模型，从而提升模型性能？
• RQ3 GCN架构的深度如何影响形态与分布分类任务的性能表现？
• RQ4 多图融合（如结合KNN与基于半径的图）在多大程度上提升了分类模型的鲁棒性与准确性？
• RQ5 所提出的基于GCN的框架能否复现放射科医生的诊断推理模式，并支持乳腺癌诊断中的临床决策？

主要发现

• 所提出的多任务GCN在形态与分布分类任务中均优于所有基线模型，在评估数据集上达到最先进性能。
• 多任务训练策略通过共享表征学习，使形态与分布分类任务的性能均优于分别训练形态或分布模型的单任务基线。
• 增加GCN深度可在一定程度内提升性能，因为更深的网络可实现来自多跳邻居的消息传递，增强特征学习能力。
• 消融实验表明，采用KNN与基于半径的图的多图融合显著提升了模型的鲁棒性与准确性，优于单一图输入。
• 性能提升主要归因于GCN捕捉空间聚类模式的能力——相同形态的钙化倾向于在空间上聚集，而分布模式反映了其在组织中的结构化扩散。
• 结果表明，基于图的深度学习方法在临床可解释性与鲁棒性方面，优于传统基于CNN的方法，能为微钙化分析提供更优的解决方案。