[논문 리뷰] Automating Abnormality Detection in Musculoskeletal Radiographs through Deep Learning

Goodarz Mehr|arXiv (Cornell University)|2020. 10. 20.

Artificial Intelligence in Healthcare and Education인용 수 6

한 줄 요약

이 논문은 MURA 데이터셋으로 훈련된 컨volutional 신경망(CNN)을 사용하여 연부 조직 레이저 영상에서 비정상성을 자동으로 탐지하는 딥러닝 시스템 MuRAD를 제시한다. 또한 비정상 영역을 국소화하기 위해 클래스 활성화 맵(CAM)을 활용한다. MuRAD는 F1 스코어 0.822와 코헨의 카파 0.699를 기록하여 전문 방사선의사 수준의 성능을 보이며, 이는 전문가 수준의 성능을 유사하게 구현함을 시사한다.

ABSTRACT

This paper introduces MuRAD (Musculoskeletal Radiograph Abnormality Detection tool), a tool that can help radiologists automate the detection of abnormalities in musculoskeletal radiographs (bone X-rays). MuRAD utilizes a Convolutional Neural Network (CNN) that can accurately predict whether a bone X-ray is abnormal, and leverages Class Activation Map (CAM) to localize the abnormality in the image. MuRAD achieves an F1 score of 0.822 and a Cohen's kappa of 0.699, which is comparable to the performance of expert radiologists.

연구 동기 및 목표

• 연부 조직 레이저 영상(뼈 X선)에서 비정상성을 탐지하는 데 도움을 주는 자동화된 도구를 개발하여 진단 피로를 줄이고 워크플로우를 향상시키는 것.
• 공개된 MURA 데이터셋을 활용하여 연부 조직 레이저 영상에 대한 레이블이 부족한 데이터셋 문제를 해결하는 것.
• 클래스 활성화 맵(CAM)을 사용해 비정상 영역을 강조할 수 있는 딥러닝 모델을 도입함으로써 진단 정확도와 일관성을 향상시키는 것.
• 성능, 훈련 시간, 파라미터 효율성 기준으로 최적의 모델을 도출하기 위해 다양한 CNN 아키텍처를 비교하는 것.
• 다양한 해부학적 영역(예: 손, 어깨, 팔꿈치)에서의 성능 평가를 통해 탐지 정확도의 변동성을 이해하는 것.

제안 방법

• 스탠퍼드 MURA 데이터셋(12,173명의 환자로부터 수집된 40,561장의 연부 조직 레이저 영상 포함)을 기반으로 18종의 서로 다른 컨volutional 신경망(CNN) 아키텍처를 훈련시켰다.
• 성능, 훈련 속도, 모델 크기(적은 파라미터 수) 간 최적의 균형을 보인 덴스넷 121을 최종 모델로 선정하였다.
• 각 X선 영상에서 탐지된 비정상 영역을 국소화하기 위해 클래스 활성화 맵(CAM)을 활용하였다.
• 훈련, 검증, 테스트로 구성된 3등분 데이터셋을 사용하여 강력한 평가를 확보하였으며, 훈련에 11,184명, 검증에 783명, 테스트에 206명의 환자를 할당하였다.
• 표준 평가 지표인 F1 스코어, 정밀도, 재현율, 정확도, 코헨의 카파(협의도 계수)를 사용해 모델 성능을 평가하였다.
• 다양한 해부학적 영역(예: 팔꿈치, 손가락, 손목)에서의 성능을 비교하여 영역 간 탐지 정확도의 변동성을 평가하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 연부 조직 레이저 영상에서 비정상성을 탐지하는 데 있어 전문 방사선의사 수준의 성능을 달성할 수 있는가?
• RQ2 연부 조직 X선 분석에 있어 정확도, 훈련 시간, 모델 크기 간 최적의 트레이드오프를 제공하는 CNN 아키텍처는 무엇인가?
• RQ3 클래스 활성화 맵(CAM)이 영상 내 비정상 영역을 국소화하는 데 얼마나 효과적인가?
• RQ4 연부 조직 X선에서 다양한 해부학적 영역(예: 손 vs. 어깨) 간에 모델 성능이 유의미하게 다를까?
• RQ5 앙상블 모델링을 통해 성능을 더욱 향상시켜 전문 인간 방사선의사의 성능을 뛰어넘을 수 있는가?

주요 결과

• MuRAD는 테스트 세트에서 F1 스코어 0.822와 코헨의 카파 0.699를 기록하여 전문 방사선의사 수준의 성능을 보였다.
• 테스트한 18개 모델 중에서 배치 정규화를 적용한 VGG 19가 가장 높은 F1 스코어(0.823)와 코헨의 카파(0.702)를 기록했으며, 덴스넷 121는 성능과 효율성의 최적 균형을 제공하였다.
• 손, 어깨, 손가락 레이저 영상에서 비정상성 탐지가 가장 어려웠으며, 모든 모델에서 가장 낮은 코헨의 카파 값(0.540–0.638)을 기록했다.
• 손과 전위 부위 비정상성에 대해 덴스넷 121가 가장 높은 성능를 보였고, 팔꿈치와 손목에 대해서는 배치 정규화를 적용한 VGG 19가 가장 우수한 성능를 기록했다.
• 비스러스 레이저 영상에서 ResNet 152는 가장 높은 코헨의 카파(0.822)를 기록하여 이 해부학적 영역에서 강력한 성능를 입증했다.
• CAM 시각화 결과는 골절, 수술적 보조기구, 관절 고정 장치 등 비정상 영역을 성공적으로 강조하여 모델의 해석 가능성과 임상적 관련성을 확인하였다.