[논문 리뷰] Knee Osteoarthritis Severity Prediction using an Attentive Multi-Scale Deep Convolutional Neural Network

Rohit Jain, Prasen Kumar Sharma외 3명|arXiv (Cornell University)|2021. 06. 27.

Osteoarthritis Treatment and Mechanisms인용 수 10

한 줄 요약

이 논문은 Kellgren-Lawrence(KL) 등급 체계를 사용하여 X-ray 영상에서 무릎 골관절염(OA)의 중증도를 예측하기 위해 HRNet과 CBAM 주의 메커니즘을 결합한 딥러닝 모델인 OsteoHRNet을 제안한다. 다중 척도 특징 추출과 주의 기반 특징 정제를 활용하여, OAI 데이터셋에서 71.74%의 다중 클래스 정확도와 0.311의 MAE를 달성하였으며, 이는 이전 방법들을 능가하는 성능을 보이며 Grad-CAM 시각화를 통해 병적 특징의 국소화가 향상됨을 입증한다.

ABSTRACT

Knee Osteoarthritis (OA) is a destructive joint disease identified by joint stiffness, pain, and functional disability concerning millions of lives across the globe. It is generally assessed by evaluating physical symptoms, medical history, and other joint screening tests like radiographs, Magnetic Resonance Imaging (MRI), and Computed Tomography (CT) scans. Unfortunately, the conventional methods are very subjective, which forms a barrier in detecting the disease progression at an early stage. This paper presents a deep learning-based framework, namely OsteoHRNet, that automatically assesses the Knee OA severity in terms of Kellgren and Lawrence (KL) grade classification from X-rays. As a primary novelty, the proposed approach is built upon one of the most recent deep models, called the High-Resolution Network (HRNet), to capture the multi-scale features of knee X-rays. In addition, we have also incorporated an attention mechanism to filter out the counterproductive features and boost the performance further. Our proposed model has achieved the best multiclass accuracy of 71.74% and MAE of 0.311 on the baseline cohort of the OAI dataset, which is a remarkable gain over the existing best-published works. We have also employed the Gradient-based Class Activation Maps (Grad-CAMs) visualization to justify the proposed network learning.

연구 동기 및 목표

• 일반 단순 레이저 영상에서 무릎 골관절염 중증도를 자동으로 분류하는 딥러닝 기반 방법을 개발하는 것.
• 기존 방사선 전문의가 수행하는 수작업 KL 등급 평가의 주관성과 일관성 부족 문제를 해결하는 것.
• X-ray 영상 내 특징 표현을 향상시켜 무릎 OA 진행의 조기 발견을 향상시키는 것.
• 관절 간격 협착 및 골수종과 같은 임상적으로 관련성이 있는解부학적 특징에 집중하기 위해 주의 메커니즘을 통합하는 것.
• Gradient 기반 클래스 활성화 맵(Grad-CAM)을 사용하여 모델의 해석 가능성 검증하기

제안 방법

• 제안된 모델인 OsteoHRNet은 고해상도 특징 맵을 네트워크 전반에 걸쳐 유지하기 위해 백본 네트워크로 HRNet을 사용한다.
• HRNet 스템 이후에 CBAM(Convolutional Block Attention Module)을 통합하여 채널 및 공간 특징을 적응적으로 재조정한다.
• KL 등급의 순서적 성격을 더 잘 반영하기 위해 교차 엔트로피 손실 함수와 순서형 손실 함수를 함께 사용하여 모델을 훈련시킨다.
• 일반화 및 강건성을 향상시키기 위해 훈련 중에 데이터 증강 기법을 적용한다.
• 해석 가능한 주의 맵을 확보하고 병적 관련 영역(예: 관절 간격, 골수종)에 집중하고 있는지 확인하기 위해 Grad-CAM 시각화를 사용한다.
• 표준 평가 지표인 다중 클래스 정확도와 평균 절대 오차(MAE)를 사용하여 OAI 데이터셋에서 프레임워크의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다중 척도 특징 추출과 주의 메커니즘을 갖춘 딥러닝 모델이 무릎 X-ray 영상에서 KL 등급 분류 정확도를 향상시킬 수 있는가?
• RQ2 CBAM 주의 모듈의 통합이 기준 CNN 모델 대비 특징 선택 및 분류 성능 향상에 기여하는 정도는 어떠한가?
• RQ3 모델의 주의가 관절 간격 협착 및 골수종과 같은 임상적으로 관련성이 있는 해부학적 특징에 얼마나 잘 집중되는가?
• RQ4 OAI 데이터셋에서 기존 최첨단 방법들과 비교해 모델의 정확도와 MAE 측면에서 성능은 어떠한가?
• RQ5 Grad-CAM 시각화를 통해 모델이 의미 있는, 진단적으로 관련성이 있는 공간적 특징을 학습하는가를 확인할 수 있는가?

주요 결과

• OsteoHRNet은 OAI 데이터셋에서 다중 클래스 정확도 71.74%와 평균 절대 오차(MAE) 0.311을 기록하여 이전에 발표된 방법들을 능가하는 성능을 보였다.
• 특히 2등급에 대한 오분류를 크게 줄여, 2등급 예측 성능이 향상되었다.
• Grad-CAM 시각화 결과, OsteoHRNet이 VGG-19와 달리 관절 간격 협착 및 골수종과 같은 임상적으로 관련성이 있는 특징에 집중하고 있음을 확인하였다.
• 제거 실험 결과, CBAM 추가 및 순서형 손실 사용이 기준 HRNet 대비 성능 향상을 이끌었으며, 정확도가 64.10%에서 71.74%로 상승하였다.
• 수작업 KL 평가의 관찰자 간 및 관찰자 내 변동성에 대해 뛰어난 강건성을 보이며, 신뢰할 수 있고 재현 가능한 자동 평가 도구로서의 임상적 유용성을 시사하였다.
• CBAM 및 순서형 손실의 통합으로 기준 HRNet 모델 대비 MAE가 상대적으로 15.8% 감소하였다.