[논문 리뷰] COVID-Net S: Towards computer-aided severity assessment via training and validation of deep neural networks for geographic extent and opacity extent scoring of chest X-rays for SARS-CoV-2 lung disease severity

Alexander Wong, Zhong Qiu Lin외 6명|arXiv (Cornell University)|2020. 05. 26.

COVID-19 diagnosis using AI인용 수 9

한 줄 요약

이 연구는 흉부 X선을 이용해 SARS-CoV-2 폐 질환의 중증도를 지리적 범위와 투명도 범위 평가 기반으로 예측하는 딥러닝 시스템인 COVID-Net S를 제안한다. 396장의 CXR에 대해 훈련하고, 분层된 몬테카를로 교차검증을 통해 검증한 결과, 지리적 범위 평가와 투명도 범위 평가 각각 최대 0.739와 0.741의 성능을 기록하여, 컴퓨터 보조 중증도 평가의 강력한 가능성을 보여주었다.

ABSTRACT

Background: A critical step in effective care and treatment planning for severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2), the cause of the COVID-19 pandemic, is the assessment of the severity of disease progression. Chest x-rays (CXRs) are often used to assess SARS-CoV-2 severity, with two important assessment metrics being extent of lung involvement and degree of opacity. In this proof-of-concept study, we assess the feasibility of computer-aided scoring of CXRs of SARS-CoV-2 lung disease severity using a deep learning system. Materials and Methods: Data consisted of 396 CXRs from SARS-CoV-2 positive patient cases. Geographic extent and opacity extent were scored by two board-certified expert chest radiologists (with 20+ years of experience) and a 2nd-year radiology resident. The deep neural networks used in this study, which we name COVID-Net S, are based on a COVID-Net network architecture. 100 versions of the network were independently learned (50 to perform geographic extent scoring and 50 to perform opacity extent scoring) using random subsets of CXRs from the study, and we evaluated the networks using stratified Monte Carlo cross-validation experiments. Findings: The COVID-Net S deep neural networks yielded R$^2$ of 0.664 $\pm$ 0.032 and 0.635 $\pm$ 0.044 between predicted scores and radiologist scores for geographic extent and opacity extent, respectively, in stratified Monte Carlo cross-validation experiments. The best performing networks achieved R$^2$ of 0.739 and 0.741 between predicted scores and radiologist scores for geographic extent and opacity extent, respectively. Interpretation: The results are promising and suggest that the use of deep neural networks on CXRs could be an effective tool for computer-aided assessment of SARS-CoV-2 lung disease severity, although additional studies are needed before adoption for routine clinical use.

연구 동기 및 목표

• 흉부 X선을 이용한 딥뉴럴넷을 활용한 SARS-CoV-2 폐 질환 중증도의 컴퓨터 보조 평가 가능성을 평가하는 것.
• 지역적 범위와 투명도 범위라는 두 가지 핵심 중증도 지표를 정량화하기 위한 딥러닝 모델인 COVID-Net S를 개발하고 검증하는 것.
• 모델의 예측 점수를 전문 방사선의사 평가와 비교하여 임상적 관련성과 신뢰성을 평가하는 것.
• 응급 및 중환자실 환경에서 빠르고 객관적인 중증도 평가를 가능하게 하여 임상 의사결정 지원에 기여하는 것.

제안 방법

• 이 연구는 396명의 SARS-CoV-2 양성 환자 CXR로 구성된 데이터셋을 바탕으로, 100개의 서로 다른 딥뉴럴넷(지역적 범위 평가용 50개, 투명도 범위 평가용 50개)을 훈련하기 위해 수정된 COVID-Net 아키텍처를 사용한다.
• 지역적 범위와 투명도 범위에 대한 방사선의사 점수는 두 명의 자격을 갖춘 방사선의사와 한 명의 방사선 전문의 수련의사로부터 확보되었으며, 이는 기준값으로 기능한다.
• 모델의 성능를 안정적으로 평가하기 위해, 100개의 무작위 데이터 하위집합에 대해 분층적 몬테카를로 교차검증을 적용하였다.
• 모델 성능는 예측 점수와 방사선의사가 기록한 점수 간의 결정계수(R²)를 사용하여 정량화하였다.
• 네트워크 아키텍처는 의료 영상 회귀 작업에 최적화된 전이학습과 컨volutional 신경망(CNN) 구성 요소를 활용한다.
• 과적합 방지를 위해 하이퍼파ram터 튜닝과 데이터 증강 기법을 적용하여 일반화 능력을 향상시켰다.

실험 결과

연구 질문

• RQ1 딥뉴럴넷은 SARS-CoV-2 양성 환자의 CXR에서 폐 영역의 지리적 영향 범위를 정확하게 예측할 수 있는가?
• RQ2 딥뉴럴넷은 CXR를 이용해 SARS-CoV-2에 영향을 받은 폐의 투명도 범위를 신뢰성 있게 추정할 수 있는가?
• RQ3 모델의 성능는 전문 방사선의사 평가와 비교할 때 상관관계와 일관성 측면에서 어떻게 평가되는가?
• RQ4 모델은 응급 및 중환자실 환경에서 환자 분류 및 치료 계획 수립을 얼마나 잘 지원할 수 있는가?

주요 결과

• 100번의 교차검증 런에 걸쳐, 예측 점수와 방사선의사 점수 간 평균 R²는 지리적 범위 평가에서 0.664 ± 0.032, 투명도 범위 평가에서 0.635 ± 0.044를 기록하였다.
• 최고 성능를 기록한 모델은 지리적 범위 평가에서 R² 0.739, 투명도 범위 평가에서 R² 0.741을 기록하여 높은 예측 정확도를 보였다.
• 지리적 범위 평가에 비해 투명도 범위 평가에서 성능가 더 일관성이 떨어져, 폐 영역 영향 범위 평가에 있어 더 높은 신뢰성을 보였다.
• 결과는 딥러닝 모델이 전문가 평가와 높은 상관관계를 유지하면서도 CXR에서 SARS-CoV-2 폐 질환 중증도를 효과적으로 정량화할 수 있음을 시사한다.
• CXR가 CT보다 접근성이 높은 자원이 제한된 환경에서 딥러닝을 활용한 컴퓨터 보조 중증도 평가의 가능성을 확인하였다.
• 데이터 편향 및 기능적 결과와의 상관관계 부족 등의 제한점이 존재하지만, 모델은 환자 분류를 위한 임상 워크플로우에 통합될 잠재력이 높다.