[论文解读] Towards computer-aided severity assessment: training and validation of deep neural networks for geographic extent and opacity extent scoring of chest X-rays for SARS-CoV-2 lung disease severity

Alexander Wong, Zhong Qiu Lin+6 more|arXiv (Cornell University)|May 26, 2020

COVID-19 diagnosis using AI参考文献 23被引用 28

一句话总结

本研究提出并验证了一种深度学习系统 COVIDNet-S，用于通过胸部X光片实现对SARS-CoV-2肺部疾病的自动化严重程度评估。该模型在396张胸部X光片上进行训练，并通过分层蒙特卡洛交叉验证进行评估，地理范围评分和密度范围评分的R²分别达到0.664和0.635，最佳模型的R²分别达到0.739和0.741，表明该系统在计算机辅助严重程度评分方面具有强大潜力。

ABSTRACT

Background: A critical step in effective care and treatment planning for severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2) is the assessment of the severity of disease progression. Chest x-rays (CXRs) are often used to assess SARS-CoV-2 severity, with two important assessment metrics being extent of lung involvement and degree of opacity. In this proof-of-concept study, we assess the feasibility of computer-aided scoring of CXRs of SARS-CoV-2 lung disease severity using a deep learning system. Materials and Methods: Data consisted of 396 CXRs from SARS-CoV-2 positive patient cases. Geographic extent and opacity extent were scored by two board-certified expert chest radiologists (with 20+ years of experience) and a 2nd-year radiology resident. The deep neural networks used in this study, which we name COVIDNet-S, are based on a COVID-Net network architecture. 100 versions of the network were independently learned (50 to perform geographic extent scoring and 50 to perform opacity extent scoring) using random subsets of CXRs from the study, and evaluated the networks using stratified Monte Carlo cross-validation experiments. Findings: The COVIDNet-S deep neural networks yielded R$^2$ of 0.664 $\pm$ 0.001 and 0.635 $\pm$ 0.002 between predicted scores and radiologist scores for geographic extent and opacity extent, respectively, in stratified Monte Carlo cross-validation experiments. The best performing networks achieved R$^2$ of 0.739 and 0.741 between predicted scores and radiologist scores for geographic extent and opacity extent, respectively. Interpretation: The results are promising and suggest that the use of deep neural networks on CXRs could be an effective tool for computer-aided assessment of SARS-CoV-2 lung disease severity, although additional studies are needed before adoption for routine clinical use.

研究动机与目标

• 开发一种基于胸部X光片的计算机辅助系统，实现对SARS-CoV-2肺部疾病严重程度的自动化评估。
• 评估深度神经网络在预测放射科医生评分的严重程度指标（地理范围和密度范围）方面的可行性。
• 在396例SARS-CoV-2阳性胸部X光片的多样化数据集上训练并验证深度学习模型，所有数据均经专家标注评分。
• 通过分层蒙特卡洛交叉验证评估模型性能，以确保其稳健性和泛化能力。

提出的方法

• 从原始COVID-Net模型改编出一种深度神经网络架构COVIDNet-S，用于严重程度评分任务。
• 训练了两个独立模型：一个用于地理范围评分，另一个用于密度范围评分，每个模型均基于50个独立学习的网络版本。
• 使用396张胸部X光片的随机子集训练每个网络版本，以确保学习过程的多样性和代表性。
• 应用分层蒙特卡洛交叉验证评估模型性能，确保训练集和测试集中的类别分布保持一致。
• 通过预测评分与放射科医生评分之间的决定系数（R²）量化模型性能。
• 两名获得认证的放射科医生和一名放射科住院医师独立对所有胸部X光片的地理范围和密度范围进行评分，以建立真实标签。

实验结果

研究问题

• RQ1 深度神经网络能否准确预测SARS-CoV-2阳性患者胸部X光片中肺部受累的地理范围？
• RQ2 深度神经网络能否可靠地从胸部X光片中估计SARS-CoV-2感染肺部的密度范围？
• RQ3 模型性能在不同随机训练子集和交叉验证迭代中如何变化？
• RQ4 此类模型在预测专家标注的严重程度指标方面，其性能上限是多少？
• RQ5 深度学习系统在多大程度上可减少SARS-CoV-2肺部疾病严重程度评分中的评分者间差异？

主要发现

• 深度学习模型COVIDNet-S在预测评分与放射科医生评分的地理范围评分之间，平均R²达到0.664 ± 0.001。
• 在分层蒙特卡洛交叉验证实验中，对于密度范围评分，模型平均R²达到0.635 ± 0.002。
• 表现最佳的单个网络版本在地理范围评分和密度范围评分中分别达到R² 0.739和0.741。
• 高性能模型中较高的R²值表明其与专家评估具有强相关性，显示出强大的预测能力。
• 结果表明，利用深度学习实现对SARS-CoV-2肺部疾病胸部X光片的自动化、计算机辅助严重程度评分具有可行性。
• 尽管性能表现强劲，但本研究结论认为，在临床部署前仍需进一步验证。