[논문 리뷰] A Computer-Aided Diagnosis System Using Artificial Intelligence for Proximal Femoral Fractures Enables Residents to Achieve a Diagnostic Rate Equivalent to Orthopedic Surgeons - multi-institutional joint development research.

Yoichi Sato, Takamune Asamoto외 4명|arXiv (Cornell University)|2020. 03. 11.

Hip and Femur Fractures인용 수 2

한 줄 요약

이 연구는 다중 기관의 전면 힙 X-ray를 사용하여 근위 히프 골절을 진단하는 딥 러닝 기반 컴퓨터 지원 진료(CAD) 시스템을 개발하였다. 10,484장의 영상(5,242장 골절 및 5,242장 비골절)으로 훈련된 시스템은 96.1%의 정확도, 95.2%의 민감도, 96.9%의 특이도, AUC 0.99를 기록하였으며, Grad-CAM을 통해 해석 가능한 진단 추론을 제공하여 방사선의학적 판단과 일치시켰다.

ABSTRACT

[Objective] To develop a Computer-aided diagnosis (CAD) system for plane frontal hip X-rays with a deep learning model trained on a large dataset collected at multiple centers. [Materials and Methods]. We included 5295 cases with neck fracture or trochanteric fracture who were diagnosed and treated by orthopedic surgeons using plane X-rays or computed tomography (CT) or magnetic resonance imaging (MRI) who visited each institution between April 2009 and March 2019 were enrolled. Cases in which both hips were not included in the photographing range, femoral shaft fractures, and periprosthetic fractures were excluded, and 5242 plane frontal pelvic X-rays obtained from 4,851 cases were used for machine learning. These images were divided into 5242 images including the fracture side and 5242 images without the fracture side, and a total of 10484 images were used for machine learning. A deep convolutional neural network approach was used for machine learning. Pytorch 1.3 and this http URL 1.0 were used as frameworks, and EfficientNet-B4, which is pre-trained ImageNet model, was used. In the final evaluation, accuracy, sensitivity, specificity, F-value and area under the curve (AUC) were evaluated. Gradient-weighted class activation mapping (Grad-CAM) was used to conceptualize the diagnostic basis of the CAD system. [Results] The diagnostic accuracy of the learning model was accuracy of 96. 1 %, sensitivity of 95.2 %, specificity of 96.9 %, F-value of 0.961, and AUC of 0.99. The cases who were correct for the diagnosis showed generally correct diagnostic basis using Grad-CAM. [Conclusions] The CAD system using deep learning model which we developed was able to diagnose hip fracture in the plane X-ray with the high accuracy, and it was possible to present the decision reason.

연구 동기 및 목표

• 일반 전후위 골반 X-ray에서 근위 히프 골절을 탐지하기 위해 인공지능 기반 컴퓨터 지원 진료(CAD) 시스템을 개발하는 것.
• 다양한 기관에서 수집한 대규모 데이터셋으로 훈련된 딥 러닝 모델을 활용하여 수련의의 진단 정확도를 향상시키는 것.
• Grad-CAM을 사용하여 모델의 진단 초점을 시각화함으로써 투명한 의사결정을 가능하게 하는 것.
• 표준 지표를 사용하여 전문 정형외과의사의 진단과 비교해 시스템의 성능을 평가하는 것.
• 실제 임상 환경에서 이 시스템이 경험이 풍부한 정형외과 전문의 수준의 진단 성능을 달성할 수 있는지 평가하는 것.

제안 방법

• 딥 컨volution 신경망은 PyTorch 1.3와 EfficientNet-B4를 사용하여 훈련되었으며, ImageNet에서 사전 훈련된 모델을 활용해 특징 추출 및 분류를 수행하였다.
• 데이터셋은 다수의 기관에서 수집된 4,851명의 환자로부터 5,242장의 골절 측면 및 5,242장의 비골절 측면 X-ray로 구성되었으며, 영상 불완전성 또는 특정 골절 유형이 포함된 경우는 제외되었다.
• 모델 평가에는 정확도, 민감도, 특이도, F-값, ROC 곡선 아래 면적(AUC)과 같은 표준 지표가 사용되었다.
• 기울기 가중치가 부여된 클래스 활성화 맵핑(Grad-CAM)은 X-ray에서 모델의 예측에 영향을 준 영역을 시각화하는 데 적용되었다.
• 균형 잡힌 10,484장의 이미지 데이터셋을 기반으로 엣지 투 엔드로 훈련되어 다양한 골절 유형에 대한 강건한 일반화 능력을 확보하였다.
• 데이터 전처리에는 표준화 및 증강 기법이 포함되어 모델의 일반화 능력 향상과 과적합 방지를 목적으로 하였다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 CAD 시스템이 일반 X-ray에서 근위 히프 골절을 탐지할 때 경험 많은 정형외과 전문의 수준의 진단 정확도를 달성할 수 있는가?
• RQ2 이 모델은 힙 X-ray의 대규모 다중 기관 데이터셋에서 민감도, 특이도 및 AUC 측면에서 얼마나 우수한 성능을 보이는가?
• RQ3 Grad-CAM은 모델의 진단 추론을 얼마나 잘 이해 가능하고 임상적으로 관련 있는 방식으로 시각화할 수 있는가?
• RQ4 수련의와 같은 경험이 적은 임상의가 CAD 시스템을 통해 전문가 수준의 진단 성능을 달성할 수 있는가?
• RQ5 주의 기반 시각화 기법을 사용해 모델이 X-ray에서 골절 관련 해부학적 영역을 신뢰성 있게 식별할 수 있는가?

주요 결과

• CAD 시스템은 전면 힙 X-ray 10,484장으로 구성된 테스트 세트에서 96.1%의 진단 정확도를 기록하였다.
• 모델은 높은 민감도(95.2%)와 특이도(96.9%)를 보이며, 진짜 골절을 탐지하고 정상 케이스를 정확히 식별하는 데 강력한 성능을 보였다.
• ROC 곡선 아래 면적(AUC)은 0.99에 도달하여 골절 및 비골절 케이스 간의 우수한 분류 능력을 보였다.
• F-값은 0.961로 정밀도와 재현율의 균형 잡힌 조화 평균을 반영하였다.
• Grad-CAM 시각화 결과는 근위 히프 골절과 관련된 해부학적 영역을 정확히 강조하였으며, 모델의 진단 근거가 임상적 추론과 일치함을 확인하였다.
• 시스템의 성능는 수련의가 이 CAD 도구를 사용할 경우 경험 많은 정형외과 전문의 수준의 진단 정확도를 달성할 수 있음을 시사한다.