[논문 리뷰] A Computer-Aided Diagnosis System Using Artificial Intelligence for Hip Fractures -Multi-Institutional Joint Development Research-

Yoichi Sato, Yasuhiko Takegami외 6명|arXiv (Cornell University)|2020. 03. 11.

Radiomics and Machine Learning in Medical Imaging참고 문헌 32인용 수 5

한 줄 요약

이 연구는 전후위 골반 X선에서 대퇴골 골절을 탐지하기 위한 다기관 기반의 딥러닝 기반 컴퓨터 지원 진료(CAD) 시스템을 제시한다. ImageNet에서 미리 훈련된 수정된 EfficientNet-B4 모델을 사용해 4,851명의 환자로부터 확득한 10,484幅의 이미지로 훈련된 시스템은 96.1%의 정확도, 95.2%의 민감도, 96.9%의 특이도, AUC 0.99를 기록했으며, Grad-CAM을 통해 해석 가능한 진단 근거를 제공하였다.

ABSTRACT

[Objective] To develop a Computer-aided diagnosis (CAD) system for plane frontal hip X-rays with a deep learning model trained on a large dataset collected at multiple centers. [Materials and Methods]. We included 5295 cases with neck fracture or trochanteric fracture who were diagnosed and treated by orthopedic surgeons using plane X-rays or computed tomography (CT) or magnetic resonance imaging (MRI) who visited each institution between April 2009 and March 2019 were enrolled. Cases in which both hips were not included in the photographing range, femoral shaft fractures, and periprosthetic fractures were excluded, and 5242 plane frontal pelvic X-rays obtained from 4,851 cases were used for machine learning. These images were divided into 5242 images including the fracture side and 5242 images without the fracture side, and a total of 10484 images were used for machine learning. A deep convolutional neural network approach was used for machine learning. Pytorch 1.3 and Fast.ai 1.0 were used as frameworks, and EfficientNet-B4, which is pre-trained ImageNet model, was used. In the final evaluation, accuracy, sensitivity, specificity, F-value and area under the curve (AUC) were evaluated. Gradient-weighted class activation mapping (Grad-CAM) was used to conceptualize the diagnostic basis of the CAD system. [Results] The diagnostic accuracy of the learning model was accuracy of 96. 1 %, sensitivity of 95.2 %, specificity of 96.9 %, F-value of 0.961, and AUC of 0.99. The cases who were correct for the diagnosis showed generally correct diagnostic basis using Grad-CAM. [Conclusions] The CAD system using deep learning model which we developed was able to diagnose hip fracture in the plane X-ray with the high accuracy, and it was possible to present the decision reason.

연구 동기 및 목표

• 인공지능을 활용해 신뢰성 있고 일반화 가능한 대퇴골 골절 진료 지원(CAD) 시스템을 개발하는 것.
• 다양한 기관에서 확보한 전후위 골반 X선의 대규모 다센터 데이터셋을 활용해 진단 성능을 향상시킬 수 있는 딥러닝 모델을 훈련하는 것.
• Grad-CAM을 통합해 모델의 의사결정 과정을 시각화함으로써 진단의 투명성을 확보하는 것.
• 정확도, 민감도, 특이도, F-값, AUC와 같은 표준 지표를 사용해 모델 성능을 평가하는 것.
• 다기관 협업을 통해 다양한 임상 환경에서의 시스템의 강건성과 임상적 관련성을 검증하는 것.

제안 방법

• 딥 컨volution 신경망(DCNN)은 PyTorch 1.3 및 ImageNet에서 미리 훈련된 EfficientNet-B4 아키텍처를 사용해 훈련되었다.
• 데이터셋은 2009년부터 2019년까지 다수의 기관에서 확보한 4,851명의 환자로부터의 5,242건의 골절 측면 및 5,242건의 비골절 측면 X선 영상으로 구성되었다.
• 모델 일반화 능력을 향상시키기 위해 영상 전처리 및 증강 조치를 시행하였으며, 완전하지 않은 영상, 대퇴골 부위 골절, 또는 인공관절 주변 골절을 포함한 경우는 제외 기준에 따라 제거되었다.
• 모델 성능 평가에 다섯 가지 지표를 사용하였다: 정확도, 민감도, 특이도, F1-스코어, ROC 곡선 아래 면적(AUC).
• 모델의 분류 결정 과정에서 가장 영향을 미친 영역을 시각화하기 위해 Grad-CAM이 사용되었다.
• 최종 모델는 검증을 위해 보류된 테스트 세트에서 평가되어 강건성과 임상적 관련성을 확보하였다.

실험 결과

연구 질문

• RQ1 대규모 다기관 기반의 대퇴골 X선 데이터셋으로 훈련된 딥러닝 모델이 대퇴골 골절에 대해 높은 진단 정확도를 달성할 수 있는가?
• RQ2 모델은 다양한 임상 환경과 환자 집단에서 얼마나 잘 일반화되는가?
• RQ3 Grad-CAM은 모델의 진단 결정에 영향을 미치는 해부학적 영역을 효과적으로 강조할 수 있는가?
• RQ4 모델의 민감도, 특이도, AUC 성능은 임상 기준과 비교해 어떠한가?
• RQ5 시각화 기법을 통해 모델의 의사결정 과정은 해석 가능하고 임상적으로 의미 있는가?

주요 결과

• CAD 시스템은 테스트 세트에서 96.1%의 진단 정확도를 기록하여 전후위 X선에서 대퇴골 골절을 분류하는 데 있어 높은 신뢰성을 입증하였다.
• 모델의 민감도는 95.2%로, 골절이 있는 환자를 정확히 식별할 수 있는 강력한 능력을 보였다.
• 특이도는 96.9%에 도달하여 비골절 사례에서 낮은 위양성 비율을 보였다.
• F1-스코어는 0.961로 정밀도와 재현율 사이의 균형 잡힌 성능을 반영하였다.
• ROC 곡선 아래 면적(AUC)은 0.99로 뛰어난 분류 능력을 보였다.
• Grad-CAM 시각화 결과, 모델이 임상적으로 관련성이 있는 해부학적 영역, 즉 대퇴골 경부 및 투랑터리크 영역에 집중하고 있음을 확인하여 해석 가능성과 진단 신뢰도를 뒷받침하였다.