[论文解读] Anatomy-Aware Siamese Network: Exploiting Semantic Asymmetry for Accurate Pelvic Fracture Detection in X-ray Images

Haomin Chen, Yirui Wang+9 more|arXiv (Cornell University)|Jul 3, 2020

Medical Imaging and Analysis参考文献 34被引用 6

一句话总结

该论文提出了一种解剖结构感知的孪生网络（AASN），通过利用语义解剖对称性来提升X射线图像中前部骨盆骨折的检测效果。通过在特征层面进行空间变换并结合对比学习，突出与骨折相关的不对称性，同时抑制非病理性不对称性，AASN在2,359张独立的骨盆X射线图像上实现了0.9771的AUC，为当前最先进方法中的最高水平。

ABSTRACT

Visual cues of enforcing bilaterally symmetric anatomies as normal findings are widely used in clinical practice to disambiguate subtle abnormalities from medical images. So far, inadequate research attention has been received on effectively emulating this practice in CAD methods. In this work, we exploit semantic anatomical symmetry or asymmetry analysis in a complex CAD scenario, i.e., anterior pelvic fracture detection in trauma PXRs, where semantically pathological (refer to as fracture) and non-pathological (e.g., pose) asymmetries both occur. Visually subtle yet pathologically critical fracture sites can be missed even by experienced clinicians, when limited diagnosis time is permitted in emergency care. We propose a novel fracture detection framework that builds upon a Siamese network enhanced with a spatial transformer layer to holistically analyze symmetric image features. Image features are spatially formatted to encode bilaterally symmetric anatomies. A new contrastive feature learning component in our Siamese network is designed to optimize the deep image features being more salient corresponding to the underlying semantic asymmetries (caused by pelvic fracture occurrences). Our proposed method have been extensively evaluated on 2,359 PXRs from unique patients (the largest study to-date), and report an area under ROC curve score of 0.9771. This is the highest among state-of-the-art fracture detection methods, with improved clinical indications.

研究动机与目标

• 为解决在创伤性骨盆X射线中检测细微、非移位性前部骨盆骨折的挑战，这类骨折即使对经验丰富的临床医生也颇具难度。
• 在计算机辅助诊断（CAD）中模拟临床实践中利用双侧解剖对称性作为诊断线索的做法。
• 在投影放射影像中区分病理性不对称性（如骨折）与非病理性不对称性（如体位、成像角度）。
• 开发一种显式建模语义解剖对称性的深度学习框架，以提升骨折检测性能。

提出的方法

• 采用以DenseNet-121为骨干网络的孪生网络，成对处理骨盆左右区域。
• 使用基于图的标志性点检测方法，生成基于解剖结构的空间形变，实现对称区域的对齐。
• 在特征编码后使用空间变换层在特征层面执行空间对齐，避免图像形变伪影。
• 引入对比学习组件，优化深层特征，使其对病理性不对称性（骨折）更敏感，对非病理性不对称性更不敏感。
• 在对比学习损失中使用非线性投影头，以增强特征的判别能力。
• 采用对称特征融合与联合训练策略，利用骨盆双侧信息提升表征学习效果。

实验结果

研究问题

• RQ1 语义解剖对称性能否被有效利用，以提升X射线图像中细微骨盆骨折的检测效果？
• RQ2 深度学习模型如何在骨盆X射线中区分病理性不对称性（如骨折）与非病理性不对称性（如患者体位）？
• RQ3 在基于对称性的骨折检测中，特征层面的空间对齐是否优于图像层面的对齐？
• RQ4 对比学习在多大程度上提升了深层特征对与骨折相关的不对称性的敏感性？
• RQ5 结合对称特征融合与对比学习的孪生网络是否能超越现有最先进方法在骨盆骨折检测中的表现？

主要发现

• 所提出的AASN在2,359张独立的骨盆X射线图像上实现了受试者工作特征曲线下面积（AUC）为0.9771，为迄今报道的最高水平。
• 消融实验表明，与基线相比，对称特征融合使AUC提升0.41%，在1%假阳性率下的召回率提升2.43%。
• 特征层面的空间对齐（FA）相比图像层面对齐，使1%假阳性率下的召回率提升3.46%。
• 当与特征融合和对齐结合时，对比学习使1%假阳性率下的召回率提升3.05%。
• 在对比学习中移除非线性投影头后，1%假阳性率下的召回率相比完整AASN模型下降0.61%，表明其重要性。
• 完整AASN模型在1%假阳性率下的召回率为77.87%，在10%假阳性率下为92.71%，展现出强大的临床实用性。