[논문 리뷰] Early detection of knee osteoarthritis using deep learning on knee magnetic resonance images

Anastasis Alexopoulos, Jukka Hirvasniemi외 1명|arXiv (Cornell University)|2022. 09. 02.

Osteoarthritis Treatment and Mechanisms인용 수 5

한 줄 요약

이 연구는 자기공명영상(MRI) 촬영 및 환자 데이터를 활용하여 초기 무릎 관절염(OA)을 탐지하기 위한 딥러닝 프레임워크를 개발한다. TSE 및 DESS 시퀀스에서 U-Net 기반 분할, 이미지 정렬 및 세 가지 딥러닝 아키텍처(ResNet, DenseNet, CVAE)를 결합한 결과, CVAE는 환자 데이터와 융합했을 때 최고의 AUC 0.6699를 기록하여 임상 변수 통합이 조기에 OA를 예측하는 데 있어 가치가 있음을 입증한다.

ABSTRACT

The aim of this study was to investigate the influence of MRI and patient data on the prediction of knee osteoarthritis (OA) incidence using different deep learning architectures. Knee OA incidence within 24 months was predicted using the intermediate-weighted turbo spin-echo (IW-TSE) sequence of 593 patients from the Osteoarthritis Initiative. To extract a region of interest containing the knee joint from the IW-TSE sequence, a U-Net model was trained and used to segment bone on a dual echo steady state (DESS) sequence. Subsequently, IW-TSE and DESS sequences were registered and the DESS segmentations were transformed to the corresponding IW-TSE scans. The performance of MRI-based features in the prediction of knee OA incidence was tested using three different deep learning architectures: a residual network (ResNet), a densely connected convolutional network (DenseNet), and a convolutional variational autoencoder (CVAE). To evaluate the predictive performance of MRI-based features alone, the outputs of ResNet, DenseNet, and CVAE were coupled with patient data (i.e., age, gender, BMI) and used as input to a Logistic Regression (LR) Classifier. Knee OA was defined based on visual MRI and X-ray-based OA features. The ResNet and DenseNet showed similar results, with both methods having the area under the receiver operating characteristic curve (AUC) values up to 0.6269. The best performing OA detection model was CVAE with an AUC of 0.6699 when combined with patient data and an AUC of 0.6689 when used alone as input to the LR classifier. The results showed that three deep learning algorithms have similar metrics when using IW-TSE MRIs and their performance increased with the inclusion of patient data, which shows the strong influence of variables such as age, gender, and BMI on the detection of knee OA.

연구 동기 및 목표

• 24개월 이내에 무릎 관절염(OA) 발생을 예측하기 위해 무릎 MRI 시퀀스에서 유도된 영상 기반 특징의 예측 능력을 조사한다.
• 환자 데이터(나이, 성별, 체질량지수(BMI))를 통합할 경우 딥러닝 모델의 OA 예측 성능에 미치는 영향을 평가한다.
• 이미지 분할, 정렬 및 딥러닝을 융합한 파ipeline을 개발하여 초기 OA 징후 탐지 능력을 향상시킨다.
• 세 가지 딥러닝 아키텍처(ResNet, DenseNet, CVAE)가 MRI 유도 특징을 기반으로 한 OA 예측 성능를 비교한다.
• 영상 시퀀스(IW-TSE 및 DESS)와 그 정렬이 예측 정확도에 미치는 영향을 평가한다.

제안 방법

• 이중 에코 안정 상태(DESS) 시퀀스를 대상으로 U-Net 모델을 훈련시어 무릎 관절의 영역을 중심으로 구조를 분할한다.
• 이미지 정렬 기법을 사용하여 DESS 영상과 중간 무게 터보 스피너코ils(IW-TSE) 시퀀스 간의解부학적 기준을 일치시킨다.
• 정렬 맵을 활용한 공간 변환을 통해 DESS 기반 뼈 분할 결과를 해당하는 IW-TSE 스캔에 이식한다.
• ResNet, DenseNet 및 변동형 인과 오토인코더(CVAE)의 세 가지 딥러닝 아키텍처를 사용하여 IW-TSE MRI 스캔에서 특징을 추출한다.
• 각 모델의 딥러닝 특징를 환자 데이터(나이, 성별, 체질량지수(BMI))와 융합하여 로지스틱 회귀 분류기로 OA 발생 예측에 활용한다.
• 24개월 이내에 무릎 OA 발생 여부를 정의하기 위해 시각적 MRI 및 X-ray 기반 OA 특징를 기준으로 삼는다.

실험 결과

연구 질문

• RQ1 IW-TSE 및 DESS MRI 시퀀스에서 훈련된 딥러닝 모델이 높은 예측 정확도로 초기 무릎 관절염을 탐지할 수 있는가?
• RQ2 환자 데이터(나이, 성별, 체질량지수(BMI))를 포함할 경우 MRI 기반 딥러닝 모델의 무릎 OA 발생 예측 성능에 어떤 영향을 미치는가?
• RQ3 ResNet, DenseNet 또는 CVAE 중 어느 딥러닝 아키텍처가 MRI 특징를 기반으로 한 초기 무릎 관절염 탐지에서 가장 높은 예측 성능를 보이는가?
• RQ4 이미지 정렬 및 분할이 무릎 MRI에서 미세한 초기 OA 변화를 탐지하는 데 있어 딥러닝 모델의 정확도를 얼마나 향상시키는가?
• RQ5 다른 MRI 시퀀스(IW-TSE 대비 DESS)가 딥러닝 및 환자 데이터와 융합되었을 때 초기 OA 탐지에 어떤 기여를 하는가?

주요 결과

• 환자 데이터와 융합한 변동형 인과 오토인코더(CVAE)는 최고의 receiver operating characteristic(ROC) 곡선 아래 면적(AUC) 0.6699를 기록하여 ResNet 및 DenseNet을 능가했다.
• 단독으로 사용했을 경우 CVAE는 AUC 0.6689를 기록하여 MRI 특징만으로도 강력한 예측 능력을 보였다.
• ResNet 및 DenseNet는 유사한 성능를 보였으며 최대 AUC 값은 0.6269로 CVAE보다 약간 낮은 성능를 보였다.
• 환자 데이터(나이, 성별, 체질량지수(BMI))의 통합은 모든 딥러닝 모델의 예측 성능를 유의미하게 향상시켜 이 임상 변수들이 OA 발생에 미치는 강력한 영향을 입증했다.
• U-Net 분할, 이미지 정렬 및 딥러닝을 융합한 파이프라인은 MRI 스캔에서 관련 특징를 효과적으로 추출하여 신뢰할 수 있는 초기 OA 예측을 가능하게 했다.
• 본 연구는 고해상도 MRI 시퀀스에서 훈련된 딥러닝 모델이 임상 증상이 나타나기 이르기 전에도 무릎 OA와 연관된 구조적 변화를 탐지할 수 있음을 확인했다.