[论文解读] Knowledge Distillation with Adaptive Asymmetric Label Sharpening for Semi-supervised Fracture Detection in Chest X-rays

Yirui Wang, Kang Zheng+8 more|arXiv (Cornell University)|Dec 30, 2020

COVID-19 diagnosis using AI参考文献 15被引用 6

一句话总结

该论文提出了一种具有自适应非对称标签锐化（AALS）的知识蒸馏框架，以利用有限的区域级标注和来自临床诊断的大规模图像级标签，提升胸部X光片中肋骨和锁骨骨折的半监督检测性能。通过AALS缓解类别不平衡问题，该方法在肋骨骨折检测上实现了SOTA性能，AUROC达到0.9318，FROC达到0.8914，较之前方法分别提升1.63%（AUROC）和3.74%（FROC）。

ABSTRACT

Exploiting available medical records to train high performance computer-aided diagnosis (CAD) models via the semi-supervised learning (SSL) setting is emerging to tackle the prohibitively high labor costs involved in large-scale medical image annotations. Despite the extensive attentions received on SSL, previous methods failed to 1) account for the low disease prevalence in medical records and 2) utilize the image-level diagnosis indicated from the medical records. Both issues are unique to SSL for CAD models. In this work, we propose a new knowledge distillation method that effectively exploits large-scale image-level labels extracted from the medical records, augmented with limited expert annotated region-level labels, to train a rib and clavicle fracture CAD model for chest X-ray (CXR). Our method leverages the teacher-student model paradigm and features a novel adaptive asymmetric label sharpening (AALS) algorithm to address the label imbalance problem that specially exists in medical domain. Our approach is extensively evaluated on all CXR (N = 65,845) from the trauma registry of anonymous hospital over a period of 9 years (2008-2016), on the most common rib and clavicle fractures. The experiment results demonstrate that our method achieves the state-of-the-art fracture detection performance, i.e., an area under receiver operating characteristic curve (AUROC) of 0.9318 and a free-response receiver operating characteristic (FROC) score of 0.8914 on the rib fractures, significantly outperforming previous approaches by an AUROC gap of 1.63% and an FROC improvement by 3.74%. Consistent performance gains are also observed for clavicle fracture detection.

研究动机与目标

• 通过利用从临床诊断中自动提取的大规模图像级标签，降低医学图像标注中专家标注的高昂成本。
• 解决低发病率骨折检测中独特的类别不平衡问题，即图像级负样本数量远超区域级正样本。
• 通过整合可靠的临床诊断与有限的专家标注区域，提升CAD中的半监督学习性能。
• 开发一种新颖的知识蒸馏策略，在严重标签稀缺条件下有效利用图像级和区域级标签。
• 在真实世界的大规模胸部X光片数据集上，实现肋骨和锁骨骨折检测的SOTA性能。

提出的方法

• 提出一种教师-学生知识蒸馏框架，将临床诊断中的图像级标签作为未标注数据的伪标签。
• 引入自适应非对称标签锐化（AALS），一种基于模型不确定性和类别不平衡动态调整标签置信度的方法。
• AALS采用带有可学习参数（中心t和强度a₀）的Sigmoid锐化函数，以减少伪标签中的噪声并提升泛化能力。
• 采用课程学习策略，在训练过程中逐步增加图像级正样本（P）的影响，以稳定学习过程。
• 学生网络通过结合区域级标注的二元交叉熵损失与教师模型在伪标注图像上的蒸馏损失进行训练。
• 教师模型通过学生权重的指数移动平均（EMA）进行更新，以提升训练稳定性和一致性。

实验结果

研究问题

• RQ1 当与有限的区域级标注结合时，来自临床诊断的图像级标签是否能显著提升胸部X光片中半监督骨折检测的性能？
• RQ2 在医学半监督学习中，如何有效缓解类别不平衡问题，特别是区域级正样本与图像级负样本之间1:100的极端比例？
• RQ3 自适应非对称标签锐化（AALS）是否在提升模型泛化能力和检测性能方面优于标准标签平滑或锐化方法？
• RQ4 与将图像级正样本视为未标注数据相比，引入图像级正样本（P）在多大程度上能提升检测性能？
• RQ5 结合AALS的知识蒸馏是否能在真实世界胸部X光片数据中实现肋骨和锁骨骨折检测的SOTA性能？

主要发现

• 所提方法在肋骨骨折检测上达到AUROC 0.9318和FROC 0.8914，较之前方法在AUROC上提升1.63个百分点，在FROC上提升3.74个百分点。
• 在锁骨骨折检测中，方法达到AUROC 0.9646和FROC 0.9265，表明在两种骨折类型上均表现出一致的性能增益。
• 当中心t=0.4且强度a₀=4时，AALS表现最佳，表明最优标签锐化在敏感性和特异性之间实现了良好平衡。
• 随着图像级正样本（P）的引入比例增加，性能持续提升，证实了临床诊断数据的价值。
• 尽管使用了图像级标签，该方法仍优于弱监督和多实例学习基线方法（如CheXNet、Li et al.），在分类和定位任务中均表现更优。
• 消融实验表明，过度激进的锐化（a₀=16）或不足的锐化（a₀=1）均会降低性能，验证了自适应调优的必要性。