[论文解读] Abnormality Detection in Musculoskeletal Radiographs with Convolutional Neural Networks(Ensembles) and Performance Optimization

Dennis Banga, Peter Waiganjo|arXiv (Cornell University)|Aug 6, 2019

Artificial Intelligence in Healthcare and Education被引用 8

一句话总结

本文提出一种由200个深度卷积神经网络（CNN）组成的集成模型，以提升骨骼肌系统X光片中的异常检测性能，在手指影像上的Cohen's Kappa值达到0.653，相较于DenseNet等先前模型，其在不同解剖区域间的性能波动更小，后者在某些情况下甚至表现不如最不熟练的放射科医生。

ABSTRACT

Musculoskeletal conditions affect more than 1.7 billion people worldwide based on a study by Global Burden Disease, and they are the second greatest cause of disability[1,2]. The diagnosis of these conditions vary but mostly physical exams carried out and image tests. There are few imaging and diagnostic experts while there is a huge workload of radiograph examinations which might affect diagnostic accuracy. We built machine learning models to perform abnormality detection using the available musculoskeletal public dataset [3]. Convolutional Neural Networks (CNN) were used as are the most successful models in performing various tasks such as classification and object detection [4]. The development of the models involved theoretical study, iterative prototyping, and empirical evaluation of the results. The current model, 169 layer DenseNet, by Pranav et al.(2018) on the abnormality detection task, the performance was lower than the worst radiologist in 5 out of the 7 studies, and the overall model performance was lower than the best radiologist. We developed the ensemble200 model which scored 0.66 Cohen Kappa which was lower than the DenseNet model (Pranav et al, 2018) but the model performance with the F1 score outperforms the DenseNet model and its Cohen Kappa score variability with the different studies is lower as the best cohen kappa score on the upper extremity studies is 0.7408 (Wrist) and the lowest is (0.5844) hand. The ensemble200 model outperformed DenseNet model on the finger studies with a Cohen Kappa score of 0.653 showing reduced performance variability on the model performance.

研究动机与目标

• 应对全球骨骼肌系统疾病日益增长的负担，此类疾病影响超过17亿人，是致残的主要原因之一。
• 通过深度学习自动化骨骼肌系统X光片中的异常检测，减轻诊断工作量并降低诊断结果的变异性。
• 克服现有模型（如DenseNet）的局限性，后者在某些研究中表现甚至低于最不熟练的放射科医生。
• 开发一种鲁棒且可泛化的模型，显著降低在不同解剖区域（如手、腕、手指）间的性能波动。

提出的方法

• 训练由200个深度卷积神经网络（CNN）组成的集成模型，以提升骨骼肌系统X光片中异常检测的鲁棒性与泛化能力。
• 利用预训练模型进行迁移学习，在公开的骨骼肌系统X光片数据集上微调以实现异常检测。
• 通过平均或投票方式融合200个独立模型的预测结果，以增强预测稳定性并降低方差。
• 通过迭代原型设计、超参数调优及在多个解剖区域上的实证评估，持续优化模型性能。
• 采用标准指标（如Cohen's Kappa和F1分数）在不同影像子集（如上肢、手、腕、手指）中评估模型性能。
• 将结果与169层DenseNet模型（Pranav et al., 2018）进行对比，该模型此前在性能上低于放射科医生。

实验结果

研究问题

• RQ1 由深度CNN组成的集成模型是否能在骨骼肌系统X光片的异常检测中超越单模型方法（如DenseNet）？
• RQ2 与先前模型相比，所提出的集成模型是否能降低在不同解剖区域间的性能波动？
• RQ3 在Cohen's Kappa和F1分数方面，集成模型的性能与人类放射科医生相比如何？
• RQ4 通过模型集成进行性能优化，在多大程度上提升了骨骼肌影像诊断的可靠性？
• RQ5 集成模型是否能在保持或提升不同影像子集间一致性的同时，实现更高的F1分数？

主要发现

• 在手指影像研究中，ensemble200模型的Cohen's Kappa值达到0.653，优于DenseNet模型在该特定解剖区域的表现。
• 集成模型表现出更低的性能波动，Cohen's Kappa值在手部为0.5844，腕部为0.7408，表明其在不同区域间表现更一致。
• 尽管总体Cohen's Kappa值（0.66）略低于DenseNet模型，但ensemble200模型在所有研究中均实现了更优的F1分数。
• 在F1分数方面，集成模型优于DenseNet模型，且在不同研究中的性能波动更小。
• 集成方法降低了过拟合风险，提升了泛化能力，尤其在手指等具有挑战性的解剖亚区更具优势。
• 与先前的最先进模型相比，该模型表现出更高的可靠性与一致性，后者在某些情况下甚至表现不如最不熟练的放射科医生。