[论文解读] Early detection of knee osteoarthritis using deep learning on knee magnetic resonance images

Anastasis Alexopoulos, Jukka Hirvasniemi+1 more|arXiv (Cornell University)|Sep 2, 2022

Osteoarthritis Treatment and Mechanisms被引用 5

一句话总结

本研究开发了一种深度学习框架，利用MRI扫描和患者数据检测早期膝骨关节炎（OA）。通过结合基于U-Net的分割、图像配准以及三种深度学习架构——ResNet、DenseNet和CVAE——应用于TSE和DESS序列，当与患者数据融合时，CVAE在AUC上达到最高值0.6699，表明整合临床变量可显著提升早期OA预测性能。

ABSTRACT

The aim of this study was to investigate the influence of MRI and patient data on the prediction of knee osteoarthritis (OA) incidence using different deep learning architectures. Knee OA incidence within 24 months was predicted using the intermediate-weighted turbo spin-echo (IW-TSE) sequence of 593 patients from the Osteoarthritis Initiative. To extract a region of interest containing the knee joint from the IW-TSE sequence, a U-Net model was trained and used to segment bone on a dual echo steady state (DESS) sequence. Subsequently, IW-TSE and DESS sequences were registered and the DESS segmentations were transformed to the corresponding IW-TSE scans. The performance of MRI-based features in the prediction of knee OA incidence was tested using three different deep learning architectures: a residual network (ResNet), a densely connected convolutional network (DenseNet), and a convolutional variational autoencoder (CVAE). To evaluate the predictive performance of MRI-based features alone, the outputs of ResNet, DenseNet, and CVAE were coupled with patient data (i.e., age, gender, BMI) and used as input to a Logistic Regression (LR) Classifier. Knee OA was defined based on visual MRI and X-ray-based OA features. The ResNet and DenseNet showed similar results, with both methods having the area under the receiver operating characteristic curve (AUC) values up to 0.6269. The best performing OA detection model was CVAE with an AUC of 0.6699 when combined with patient data and an AUC of 0.6689 when used alone as input to the LR classifier. The results showed that three deep learning algorithms have similar metrics when using IW-TSE MRIs and their performance increased with the inclusion of patient data, which shows the strong influence of variables such as age, gender, and BMI on the detection of knee OA.

研究动机与目标

• 调查基于膝关节MRI序列的影像特征在24个月内对早期膝骨关节炎（OA）发病的预测能力。
• 评估整合患者数据（年龄、性别、BMI）对深度学习模型预测OA的影响。
• 开发一种结合图像分割、配准和深度学习的流程，以提升早期OA征象的检测能力。
• 比较三种深度学习架构——ResNet、DenseNet和CVAE——在MRI衍生特征上用于OA预测的性能。
• 评估成像序列（IW-TSE和DESS）及其配准对预测准确率的影响。

提出的方法

• 在双 echo 稳态（DESS）序列上训练U-Net模型以分割骨结构，为膝关节区域创建感兴趣区。
• 使用图像配准技术将DESS图像与中间加权涡旋自旋回波（IW-TSE）序列配准，以对齐解剖结构。
• 通过使用配准图的空间变换，将基于DESS的骨分割结果转移到相应的IW-TSE扫描中。
• 利用三种深度学习架构——ResNet、DenseNet和卷积变分自编码器（CVAE）——从IW-TSE MRI扫描中提取特征。
• 将每个模型提取的深度特征与患者数据（年龄、性别、BMI）结合，并输入逻辑回归分类器以预测OA发病。
• 使用视觉MRI和X光基于的OA特征作为真实标签，定义24个月内膝关节OA的发病情况。

实验结果

研究问题

• RQ1 在IW-TSE和DESS MRI序列上训练的深度学习模型能否以高预测准确率检测早期膝骨关节炎？
• RQ2 患者数据（年龄、性别、BMI）的纳入如何影响基于MRI的深度学习模型在预测膝关节OA发病方面的性能？
• RQ3 在使用MRI特征进行早期膝骨关节炎检测时，哪种深度学习架构——ResNet、DenseNet或CVAE——能实现最高的预测性能？
• RQ4 图像配准和分割在多大程度上提升了深度学习模型检测膝MRI中细微早期OA改变的准确性？
• RQ5 当与深度学习及患者数据结合时，不同MRI序列（IW-TSE与DESS）在早期OA检测中的贡献如何？

主要发现

• 当与患者数据结合时，卷积变分自编码器（CVAE）在受试者工作特征曲线下面积（AUC）上达到最高值0.6699，优于ResNet和DenseNet。
• 单独使用时，CVAE的AUC为0.6689，表明仅依靠MRI特征已具备强大的预测能力。
• ResNet和DenseNet表现相当，最大AUC值为0.6269，表明其性能稳定但略低于CVAE。
• 患者数据（年龄、性别、BMI）的整合显著提升了所有深度学习模型的预测性能，凸显了这些临床变量对OA发病的强烈影响。
• 结合U-Net分割、图像配准和深度学习的流程能有效从MRI扫描中提取相关特征，实现可靠的早期OA预测。
• 本研究证实，基于高分辨率MRI序列训练的深度学习模型能够检测到与膝骨关节炎相关的早期结构改变，即使在临床症状出现前亦可识别。