[论文解读] Knee Osteoarthritis Severity Prediction using an Attentive Multi-Scale Deep Convolutional Neural Network

Rohit Jain, Prasen Kumar Sharma+3 more|arXiv (Cornell University)|Jun 27, 2021

Osteoarthritis Treatment and Mechanisms被引用 10

一句话总结

该论文提出OsteoHRNet，一种结合HRNet与CBAM注意力机制的深度学习模型，利用Kellgren-Lawrence（KL）分级标准，从X光片中预测膝骨关节炎（OA）严重程度。通过多尺度特征提取与基于注意力的特征优化，该模型在OAI数据集上实现了71.74%的多分类准确率与0.311的MAE，优于先前方法，并通过Grad-CAM可视化展示了对病理性特征的改进定位能力。

ABSTRACT

Knee Osteoarthritis (OA) is a destructive joint disease identified by joint stiffness, pain, and functional disability concerning millions of lives across the globe. It is generally assessed by evaluating physical symptoms, medical history, and other joint screening tests like radiographs, Magnetic Resonance Imaging (MRI), and Computed Tomography (CT) scans. Unfortunately, the conventional methods are very subjective, which forms a barrier in detecting the disease progression at an early stage. This paper presents a deep learning-based framework, namely OsteoHRNet, that automatically assesses the Knee OA severity in terms of Kellgren and Lawrence (KL) grade classification from X-rays. As a primary novelty, the proposed approach is built upon one of the most recent deep models, called the High-Resolution Network (HRNet), to capture the multi-scale features of knee X-rays. In addition, we have also incorporated an attention mechanism to filter out the counterproductive features and boost the performance further. Our proposed model has achieved the best multiclass accuracy of 71.74% and MAE of 0.311 on the baseline cohort of the OAI dataset, which is a remarkable gain over the existing best-published works. We have also employed the Gradient-based Class Activation Maps (Grad-CAMs) visualization to justify the proposed network learning.

研究动机与目标

• 开发一种基于深度学习的自动化方法，用于从普通X光片中分类膝骨关节炎严重程度。
• 通过HRNet与CBAM注意力机制，解决传统放射科医生在手动KL分级中存在主观性与不一致性的问题。
• 通过增强X光片中的特征表示，提升膝骨关节炎进展的早期检测能力。
• 引入注意力机制，聚焦于临床相关解剖特征，如关节间隙狭窄与骨赘。
• 利用基于梯度的类激活图（Grad-CAM）验证模型的可解释性。

提出的方法

• 所提出的模型OsteoHRNet采用HRNet作为主干网络，以在整个网络中保持高分辨率特征图。
• 在HRNet的主干部分之后集成CBAM（卷积块注意力模块），以自适应地重新校准通道与空间特征。
• 模型采用交叉熵损失与序数损失函数联合训练，以更好地捕捉KL分级的有序特性。
• 在训练过程中应用数据增强技术，以提升泛化能力与鲁棒性。
• 利用Grad-CAM可视化解释注意力图，并验证模型是否聚焦于如关节间隙与骨赘等病理性相关区域。
• 在OAI数据集上使用标准指标（多分类准确率与平均绝对误差（MAE））评估框架性能。

实验结果

研究问题

• RQ1 结合多尺度特征提取与注意力机制的深度学习模型，能否提升从膝关节X光片中分类KL分级的准确性？
• RQ2 与基线CNN模型相比，CBAM注意力机制的集成在特征选择与分类性能方面有何提升？
• RQ3 该模型的注意力机制在多大程度上聚焦于临床相关解剖特征，如关节间隙狭窄与骨赘？
• RQ4 在OAI数据集上，该模型与现有最先进方法相比，在准确率与MAE方面表现如何？
• RQ5 Grad-CAM可视化能否证实模型学习到了有意义且具有诊断相关性的空间特征？

主要发现

• OsteoHRNet在OAI数据集上实现了71.74%的多分类准确率与0.311的平均绝对误差（MAE），优于先前发表的方法。
• 该模型显著减少了相邻KL分级之间的误分类，尤其在2级预测上表现提升明显。
• Grad-CAM可视化证实，OsteoHRNet聚焦于临床相关特征，如关节间隙狭窄与骨赘，而VGG-19则关注了不相关区域。
• 消融实验表明，加入CBAM与使用序数损失可提升性能，准确率从基线HRNet的64.10%提升至71.74%。
• 该模型对人工KL分级中的观察者间与观察者内差异表现出鲁棒性，表明其在实现可靠、可重复的自动化评估方面具有临床应用潜力。
• CBAM与序数损失的集成使MAE相比基线HRNet模型相对降低了15.8%。