[논문 리뷰] Abnormality Detection in Musculoskeletal Radiographs with Convolutional Neural Networks(Ensembles) and Performance Optimization

Dennis Banga, Peter Waiganjo|arXiv (Cornell University)|2019. 08. 06.

Artificial Intelligence in Healthcare and Education인용 수 8

한 줄 요약

이 논문은 근골격계 레이저 영상에서 이면성 이상 탐지 성능을 향상시키기 위해 200개의 딥 컨volution 신경망(CNN) 앙상블을 제안한다. 이는 손가락 영상에서 코헨의 카파 0.653을 기록했으며, 기존 모델인 덴스넷과 비교해 다양한 해부학적 부위에서 성능 변동성이 감소했다. 특히 일부 경우에서 덴스넷은 가장 낮은 능력을 지닌 방사선 전문의보다도 성능이 열 劣했다.

ABSTRACT

Musculoskeletal conditions affect more than 1.7 billion people worldwide based on a study by Global Burden Disease, and they are the second greatest cause of disability[1,2]. The diagnosis of these conditions vary but mostly physical exams carried out and image tests. There are few imaging and diagnostic experts while there is a huge workload of radiograph examinations which might affect diagnostic accuracy. We built machine learning models to perform abnormality detection using the available musculoskeletal public dataset [3]. Convolutional Neural Networks (CNN) were used as are the most successful models in performing various tasks such as classification and object detection [4]. The development of the models involved theoretical study, iterative prototyping, and empirical evaluation of the results. The current model, 169 layer DenseNet, by Pranav et al.(2018) on the abnormality detection task, the performance was lower than the worst radiologist in 5 out of the 7 studies, and the overall model performance was lower than the best radiologist. We developed the ensemble200 model which scored 0.66 Cohen Kappa which was lower than the DenseNet model (Pranav et al, 2018) but the model performance with the F1 score outperforms the DenseNet model and its Cohen Kappa score variability with the different studies is lower as the best cohen kappa score on the upper extremity studies is 0.7408 (Wrist) and the lowest is (0.5844) hand. The ensemble200 model outperformed DenseNet model on the finger studies with a Cohen Kappa score of 0.653 showing reduced performance variability on the model performance.

연구 동기 및 목표

• 17억 명 이상이 영향을 받고 있으며 장애의 주요 원인인 근골격계 장애의 증가하는 전 세계적 부담을 다루기 위해.
• 딥 러닝을 활용해 근골격계 레이저 영상에서 이면성 이상 탐지를 자동화하여 진단 작업량과 변동성을 줄이기 위해.
• 기존 모델의 한계를 극복하기 위해, 일부 연구에서 가장 낮은 능력을 지닌 방사선 전문의보다도 성능이 열 劣한 덴스넷과 같은 모델을 고려하기 위해.
• 다양한 해부학적 부위(예: 손, 손목, 손가락)에서 성능 변동성이 감소한 강건하고 일반화 능력이 뛰어난 모델을 개발하기 위해.

제안 방법

• 근골격계 레이저 영상에서 탐지 강건성과 일반화 능력을 향상시키기 위해 200개의 딥 컨volution 신경망(CNN) 앙상블을 훈련시켰다.
• 사전 훈련된 모델을 활용한 전이 학습을 통해 공개된 근골격계 레이저 영상 데이터셋에서 이상 탐지에 대해 미세조정을 수행했다.
• 200개의 개별 모델 예측을 평균 내거나 투표 방식으로 통합하여 예측 안정성 향상과 분산 감소를 도모했다.
• 다양한 해부학적 부위에서의 반복적 프로토타이핑, 하이퍼파라미터 튜닝 및 실증적 평가를 통해 모델 성능을 최적화했다.
• 표준 평가 지표(코헨의 카파 및 F1 스코어)를 사용해 다양한 연구 서브셋(예: 상지, 손, 손목, 손가락)에서의 모델 성능을 평가했다.
• 이전에 방사선 전문의에 비해 성능이 열 劣했던 169층의 덴스넷 모델(Pranav 등, 2018)과의 성능을 비교했다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 신경망(CNN)의 앙상블은 근골격계 레이저 영상에서 이상을 탐지하는 데 있어 덴스넷과 같은 단일 모델 접근 방식을 능가할 수 있는가?
• RQ2 제안된 앙상블 모델은 이전 모델 대비 다양한 해부학적 부위에서 성능 변동성을 줄였는가?
• RQ3 코헨의 카파 및 F1 스코어 측면에서 앙상블 모델의 성능은 인간 방사선 전문의와 비교해 어떻게 되는가?
• RQ4 모델 앙상블을 통한 성능 최적화가 근골격계 영상 진단의 신뢰성 향상에 얼마나 기여하는가?
• RQ5 앙상블 모델은 다양한 연구 서브셋에서 F1 스코어를 높이면서도 일관성 유지 또는 향상이 가능한가?

주요 결과

• 앙상블200 모델은 손가락 영상에서 코헨의 카파 0.653을 기록하여 이 특정 해부학적 부위에서 덴스넷 모델을 능가했다.
• 앙상블 모델는 성능 변동성이 감소했으며, 코헨의 카파가 손 부위에서 0.5844에서 손목 부위에서 0.7408로 다양하게 변동되어 다양한 부위에서 일관된 성능을 보였다.
• 전반적인 코헨의 카파가 덴스넷 모델보다 약간 낮은 0.66이지만, 앙상블200 모델은 모든 연구에서 뛰어난 F1 스코어를 기록했다.
• 앙상블 모델는 F1 스코어 측면에서 덴스넷 모델을 능가했으며, 다양한 연구에서 성능 변동성이 낮게 나타났다.
• 앙상블 접근 방식은 과적합 위험을 줄였고, 특히 손가락과 같은 도전적인 해부학적 하위영역에서 일반화 능력을 향상시켰다.
• 기존 최첨단 모델에 비해 더 높은 신뢰성과 일관성을 보였으며, 일부 경우에서 가장 낮은 능력을 지닌 방사선 전문의보다도 성능이 열 劣했던 기존 모델들과 비교해 뚜렷한 개선을 보였다.