[논문 리뷰] DeepRadiologyNet: Radiologist Level Pathology Detection in CT Head Images

Jameson Merkow, Robert B. Lufkin외 4명|arXiv (Cornell University)|2017. 11. 26.

Radiomics and Machine Learning in Medical Imaging참고 문헌 26인용 수 15

한 줄 요약

DeepRadiologyNet는 3.5백만 장의 CT 헤드 영상에서 24,000건의 연구를 기반으로 훈련된 딥러닝 시스템으로, 고신뢰도 연구에서 임상적으로 중요한 병변을 탐지하는 데에 임상적으로 유의미한 놓침 비율이 0.0367%에 불과하며, 이는 미국 보드 자격을 취득한 방사선과 전문의의 추정 놓침 비율인 0.82%보다 현저히 낮다. 29,925개의 분리된 연구에서 480만 장의 영상으로 검증된 모델은 재훈련된 CNN 아키텍처와 신뢰도 기반 연구 선택 기법을 사용하여 최대 42.1%의 케이스에 대해 뛰어난 정확도로 자동 보고를 수행한다.

ABSTRACT

We describe a system to automatically filter clinically significant findings from computerized tomography (CT) head scans, operating at performance levels exceeding that of practicing radiologists. Our system, named DeepRadiologyNet, builds on top of deep convolutional neural networks (CNNs) trained using approximately 3.5 million CT head images gathered from over 24,000 studies taken from January 1, 2015 to August 31, 2015 and January 1, 2016 to April 30 2016 in over 80 clinical sites. For our initial system, we identified 30 phenomenological traits to be recognized in the CT scans. To test the system, we designed a clinical trial using over 4.8 million CT head images (29,925 studies), completely disjoint from the training and validation set, interpreted by 35 US Board Certified radiologists with specialized CT head experience. We measured clinically significant error rates to ascertain whether the performance of DeepRadiologyNet was comparable to or better than that of US Board Certified radiologists. DeepRadiologyNet achieved a clinically significant miss rate of 0.0367% on automatically selected high-confidence studies. Thus, DeepRadiologyNet enables significant reduction in the workload of human radiologists by automatically filtering studies and reporting on the high-confidence ones at an operating point well below the literal error rate for US Board Certified radiologists, estimated at 0.82%.

연구 동기 및 목표

• 인간 방사선과 전문의의 성능을 초월하는 임상적으로 중요한 병변을 CT 헤드 스캔에서 자동으로 탐지할 수 있는 시스템을 개발하는 것.
• 고신뢰도 연구를 자동으로 식별하고 보고하여 방사선과 전문의의 진단 부담을 줄이는 것.
• 보드 자격을 취득한 방사선과 전문의를 기준으로 하여 대규모 독립 임상 시험을 통해 시스템의 신뢰성을 평가하는 것.
• 대규모 전문가가 주석 처리한 데이터를 활용하여 딥러닝 모델이 의료 영상 분야에서 뛰어난 정확도를 달성할 수 있음을 입증하는 것.
• 자원이 제한된 환경에서 적용 가능한 확장성 있고 비용 효율적이며 글로벌로 배포 가능한 진단 지원 체계를 제공하는 것.

제안 방법

• 80개 임상 기관에서 수집한 24,000건 이상의 연구에서 약 350만 장의 CT 헤드 영상으로 딥 컨volution 신경망(CNN)을 훈련시켰다.
• 자연 이미지 분포와는 다름없는 CT 영상의 통계적 특성에 더 잘 부합하도록 최신 CNN 아키텍처를 재설계했다.
• 라벨 분포의 불확실성 추정치를 바탕으로 모델이 보고할 연구를 결정하기 위해 신뢰도 기반 선택 메커니즘을 사용했다.
• 네트워크 출력 분포에서 유도된 사후 확률 점수를 활용하여 연구 수준에서 개별 영상 예측을 집계했다.
• 훈련 및 검증 세트와 완전히 분리된 29,925건의 연구와 480만 장의 영상으로 구성된 임상 시험을 통해 성능을 평가했다.
• 임상적으로 중요한 발견에 대한 기준값을 확립하기 위해 35명의 미국 보드 자격을 취득한 방사선과 전문의가 공통 독해를 실시했다.

실험 결과

연구 질문

• RQ1 딥러닝 시스템은 인간 방사선과 전문의의 성능을 초월하여 CT 헤드 스캔에서 임상적으로 중요한 병변을 탐지할 수 있는가?
• RQ2 대규모 독립 데이터셋에서 고신뢰도로 운영할 경우 자동화된 시스템의 임상적으로 중요한 놓침 비율은 얼마인가?
• RQ3 자동화된 시스템은 진단 정확도를 유지하거나 향상시키면서 방사선과 전문의의 작업 부담을 어느 정도 줄일 수 있는가?
• RQ4 모델의 신뢰도 기반 선택 메커니즘은 인간 방사선과 전문의의 성능에 비해 고품질 진단 케이스를 식별하는 데서 어떻게 비교되는가?
• RQ5 원시 CT 데이터로 훈련된 딥러닝 모델은 뇌출혈이나 급성 경색과 같은 치명적인 병변을 인간 해석보다 뛰어나게 탐지할 수 있는가?

주요 결과

• DeepRadiologyNet는 고신뢰도 연구에서 임상적으로 중요한 놓침 비율(CSMR)이 0.0367%로, 미국 보드 자격을 취득한 방사선과 전문의의 추정 CSMR인 0.82%보다 현저히 낮았다.
• 보수적인 운영 조건에서 시스템은 8.5%의 연구를 보고했으며, 이때 CSMR는 0.037%로 인간의 실수율을 훨씬 밑도했다.
• 시스템은 42.1%의 연구에 대해 신뢰도 기반 보고를 수행하면서도 인간의 오류율 이하의 CSMR을 유지했다.
• 모델은 급성 뇌출혈 및 낙상성 두개골 골절과 같은 치명적인 발견을 포함하여 30개의 상호배제되지 않는 병리적 특징을 성공적으로 식별하고 국소화했다.
• 시스템의 신뢰도 기반 선택 메커니즘은 저신뢰도 케이스를 자동으로 인간 검토 대상으로 걸러내어 기준값에 접근하지 않더라도 안전성을 확보했다.
• 결과적으로 딥러닝 모델이 시간에 민감하고 임상적으로 중요한 병변을 탐지하는 데서 인간의 성능을 모방하거나 초월할 수 있음을 입증했다.