[논문 리뷰] Towards computer-aided severity assessment: training and validation of deep neural networks for geographic extent and opacity extent scoring of chest X-rays for SARS-CoV-2 lung disease severity

Alexander Wong, Zhong Qiu Lin외 6명|arXiv (Cornell University)|2020. 05. 26.

COVID-19 diagnosis using AI참고 문헌 23인용 수 28

한 줄 요약

이 연구는 흉부 X선을 이용한 SARS-CoV-2 폐 질환의 자동 중증도 평가를 위한 딥러닝 시스템인 COVIDNet-S를 제안하고 검증한다. 396장의 CXR에서 훈련하고, 분层된 몬테카를로 교차검증을 통해 평가한 모델은 지리적 범위와 투과도 범위에 대해 각각 R² 점수 0.664와 0.635를 기록했으며, 최상의 모델은 R² 0.739와 0.741에 이를 것으로 나타나 컴퓨터 보조 중증도 평가의 강력한 잠재력을 보여주었다.

ABSTRACT

Background: A critical step in effective care and treatment planning for severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2) is the assessment of the severity of disease progression. Chest x-rays (CXRs) are often used to assess SARS-CoV-2 severity, with two important assessment metrics being extent of lung involvement and degree of opacity. In this proof-of-concept study, we assess the feasibility of computer-aided scoring of CXRs of SARS-CoV-2 lung disease severity using a deep learning system. Materials and Methods: Data consisted of 396 CXRs from SARS-CoV-2 positive patient cases. Geographic extent and opacity extent were scored by two board-certified expert chest radiologists (with 20+ years of experience) and a 2nd-year radiology resident. The deep neural networks used in this study, which we name COVIDNet-S, are based on a COVID-Net network architecture. 100 versions of the network were independently learned (50 to perform geographic extent scoring and 50 to perform opacity extent scoring) using random subsets of CXRs from the study, and evaluated the networks using stratified Monte Carlo cross-validation experiments. Findings: The COVIDNet-S deep neural networks yielded R$^2$ of 0.664 $\pm$ 0.001 and 0.635 $\pm$ 0.002 between predicted scores and radiologist scores for geographic extent and opacity extent, respectively, in stratified Monte Carlo cross-validation experiments. The best performing networks achieved R$^2$ of 0.739 and 0.741 between predicted scores and radiologist scores for geographic extent and opacity extent, respectively. Interpretation: The results are promising and suggest that the use of deep neural networks on CXRs could be an effective tool for computer-aided assessment of SARS-CoV-2 lung disease severity, although additional studies are needed before adoption for routine clinical use.

연구 동기 및 목표

• 흉부 X선을 이용한 SARS-CoV-2 폐 질환의 자동 중증도 평가를 위한 컴퓨터 보조 시스템을 개발하는 것.
• 딥 뉴럴 네트워크가 방사선의사가 평가한 중증도 지표인 지리적 범위와 투과도 범위를 예측할 수 있는지의 가능성을 평가하는 것.
• 전문가가 주석 처리한 396장의 SARS-CoV-2 양성 CXR로 구성된 다양한 데이터셋을 기반으로 딥러닝 모델을 훈련하고 검증하는 것.
• 분층된 몬테카를로 교차검증을 사용하여 모델 성능을 평가함으로써 정확성과 일반화 능력을 확보하는 것.

제안 방법

• 중증도 평가 작업을 위해 원래의 COVID-Net에서 파생된 딥 뉴럴 네트워크 아키텍처인 COVIDNet-S가 개선되었다.
• 지리적 범위 평가와 투과도 범위 평가를 위한 두 개의 별도 모델이 훈련되었으며, 각각 50개의 독립적으로 학습된 네트워크 버전을 사용하였다.
• 각 네트워크 버전의 훈련에 396장의 CXR 중 무작위 부분집합이 사용되어 다양하고 대표적인 학습을 보장하였다.
• 모델 성능 평가를 위해 분층된 몬테카를로 교차검증이 적용되었으며, 훈련 및 테스트 분할에서 클래스 분포가 유지되도록 하였다.
• 모델 성능은 예측 점수와 방사선의사가 평가한 점수 간 결정 계수(R²)를 사용하여 정량화하였다.
• 두 명의 자격을 갖춘 방사선의사와 한 명의 방사선 전공 수련의사가 각 CXR의 지리적 범위와 투과도 범위를 별도로 평가하여 기준값을 확립하였다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 SARS-CoV-2 양성 환자에서 흉부 X선을 이용해 방사선의사가 평가한 폐 영향 범위를 정확하게 예측할 수 있는가?
• RQ2 딥 뉴럴 네트워크는 SARS-CoV-2에 의해 영향을 받은 폐의 투과도를 흉부 X선에서 신뢰성 있게 추정할 수 있는가?
• RQ3 다양한 무작위 훈련 부분집합과 교차검증 반복 과정에서 모델 성능는 어떻게 변하는가?
• RQ4 전문가가 주석 처리한 중증도 지표를 예측할 때 이러한 모델의 최고 성능 한계는 어디인가?
• RQ5 딥러닝 시스템은 SARS-CoV-2 폐 질환의 중증도 평가에서 다수의 평가자 간 변동성을 어느 정도 줄일 수 있는가?

주요 결과

• 딥러닝 모델인 COVIDNet-S는 예측 점수와 방사선의사가 평가한 지리적 범위 점수 간 평균 R²가 0.664 ± 0.001을 기록하였다.
• 투과도 범위 평가의 경우, 분층된 몬테카를로 교차검증 실험 전반에서 평균 R²가 0.635 ± 0.002를 기록하였다.
• 가장 뛰어난 성능을 보인 개별 네트워크 버전은 지리적 범위 평가에서 R² 0.739, 투과도 범위 평가에서 R² 0.741을 기록하였다.
• 최상의 모델에서 높은 R² 값이 나타나 전문가 평가와 강한 상관관계를 보이며 강력한 예측 능력을 나타내었다.
• 결과는 흉부 X선에서 SARS-CoV-2 폐 질환의 자동화된 컴퓨터 보조 중증도 평가에 딥러닝을 사용할 수 있음을 입증하였다.
• 강력한 성능에도 불구하고, 이 연구는 임상 적용 이전에 추가 검증이 필요하다고 결론을 내렸다.