[논문 리뷰] Deep Learning for Automated Classification of Tuberculosis-Related Chest X-Ray: Dataset Specificity Limits Diagnostic Performance Generalizability

Seelwan Sathitratanacheewin, Krit Pongpirul|arXiv (Cornell University)|2018. 11. 13.

COVID-19 diagnosis using AI참고 문헌 4인용 수 6

한 줄 요약

이 연구는 한 인구 집단에서 수집한 결핵 특화 흉부 X선(CXR) 데이터셋으로 훈련된 딥 컨volution 네트워크(DCNN)의 성능을 다른 인구 집단의 비결핵 특화 CXR 데이터셋에서 평가한다. 주요 발견은 진단 성능가 장기간 인구 간에 심각하게 떨어지며, 딥 러닝을 통한 결핵 검출에서 일반화 가능성에 대한 주요 제한 요소로 데이터셋 특이성이 뚜렷하게 드러난다.

ABSTRACT

Machine learning has been an emerging tool for various aspects of infectious diseases including tuberculosis surveillance and detection. However, WHO provided no recommendations on using computer-aided tuberculosis detection software because of the small number of studies, methodological limitations, and limited generalizability of the findings. To quantify the generalizability of the machine-learning model, we developed a Deep Convolutional Neural Network (DCNN) model using a TB-specific CXR dataset of one population (National Library of Medicine Shenzhen No.3 Hospital) and tested it with non-TB-specific CXR dataset of another population (National Institute of Health Clinical Centers). The findings suggested that a supervised deep learning model developed by using the training dataset from one population may not have the same diagnostic performance in another population. Technical specification of CXR images, disease severity distribution, overfitting, and overdiagnosis should be examined before implementation in other settings.

연구 동기 및 목표

• 결핵 특화 CXR 데이터셋으로 훈련된 딥 러닝 모델이 다른 인구 집단의 비결핵 특화 CXR 데이터셋으로의 일반화 능력을 평가하기 위해.
• 한 인구 집단의 데이터로 훈련된 감독형 DCNN 모델의 진단 성능가 다른 인구 집단으로 효과적으로 이식되는지 조사하기 위해.
• 이미지 사양, 질병 중증도 분포, 과적합, 과진단과 같은 기술적 및 임상적 요인이 모델 이식 가능성에 미치는 영향을 규명하기 위해.
• 재훈련이나 적응 없이 다양한 임상 환경에서 단일 딥 러닝 모델을 구현 가능한지 평가하기 위해.

제안 방법

• 딥 컨volution 네트워크(DCNN)는 미국 국립의학도서관 선전제3병원에서 수집한 결핵 특화 CXR 데이터셋으로 훈련되었다.
• 훈련된 모델는 다른 인구 집단과 영상 맥락을 반영하는 국립보건원 임상센터의 비결핵 특화 CXR 데이터셋에서 평가되었다.
• 성능은 표준 진단 지표를 사용하여 측정되었으며, 특히 민감도, 특이도 및 ROC 곡선 아래 면적(AUC)에 중점을 두었다.
• 이미지 해상도, 노출, 복원 기법과 같은 기술적 요소가 모델 성능에 미치는 영향을 분석하였다.
• 데이터 세트 간 질병 중증도 분포의 비교를 통해 잠재적 데이터 이동성 여부를 확인하였다.
• 외부 분포 데이터에 대한 모델 예측 분석과 레지오노스틱 해석 결과 비교를 통해 과적합 및 과진단 여부를 평가하였다.

실험 결과

연구 질문

• RQ1 한 인구 집단의 결핵 특화 CXR 데이터셋으로 훈련된 딥 러닝 모델이 다른 인구 집단의 비결핵 특화 CXR 데이터셋에 적용되었을 때도 높은 진단 성능를 유지하는가?
• RQ2 두 데이터셋 간 기술적 CXR 사양(예: 노출, 윈도우 처리, 복원 기법)의 차이가 모델의 일반화 가능성에 어떻게 영향을 미치는가?
• RQ3 훈련 및 테스트 세트의 질병 중증도 분포가 모델 성능 및 신뢰성에 어느 정도 영향을 미치는가?
• RQ4 한 데이터셋으로 훈련된 모델을 다른 임상 인구 집단에 적용했을 때 과적합 또는 과진단이 감지될 수 있는가?
• RQ5 다양한 의료 환경에서 딥 러닝 모델을 통한 결핵 검출의 실질적 구현을 제한하는 주요 요인는 무엇인가?

주요 결과

• 선전의 결핵 특화 데이터셋으로 훈련된 DCNN 모델는 국립보건원의 비결핵 특화 CXR 데이터셋에서 테스트했을 때 진단 성능가 뚜렷하게 저하되었다.
• AUC와 같은 성능 지표가 크게 감소하여, 비록 동일한 영상 모odalities를 사용하더라도 인구 간 이식 가능성에 문제가 있음을 시사한다.
• 노출, 윈도우 처리, 복원 기법과 같은 기술적 CXR 사양의 차이가 성능 저하의 주요 원인로 규명되었다.
• 모델는 훈련 데이터셋의 고유한 영상 특성에 과적합된 흔적을 보이며, 새로운 환경에서의 강건성은 떨어졌다.
• 테스트 세트의 질병 중증도 분포가 훈련 세트와 다름에 따라 민감도 및 특이도가 저하되었다.
• 테스트 세트에서 과진단이 관찰되어, 모델이 일반화 가능한 결핵 특징을 학습하기보다는 비일관된 패턴을 학습하고 있을 가능성이 제기되었다.