[论文解读] Comparative performance analysis of the ResNet backbones of Mask RCNN to segment the signs of COVID-19 in chest CT scans

Muhammad Aleem, Rahul Raj+1 more|arXiv (Cornell University)|Aug 21, 2020

COVID-19 diagnosis using AI参考文献 12被引用 7

一句话总结

本研究评估了使用ResNet50和ResNet101主干网络的Mask R-CNN在胸部CT扫描中分割COVID-19肺部异常的表现，采用ResNet101主干网络时F1得分为0.85，平均推理时间为9.04秒。该模型将疾病严重程度分类为“轻度”或“严重”，并已部署于Google Cloud Platform，支持实时临床应用。

ABSTRACT

COVID-19 has been detrimental in terms of the number of fatalities and rising number of critical patients across the world. According to the UNDP (United National Development Programme) Socio-Economic programme, aimed at the COVID-19 crisis, the pandemic is far more than a health crisis: it is affecting societies and economies at their core. There has been greater developments recently in the chest X-ray-based imaging technique as part of the COVID-19 diagnosis especially using Convolution Neural Networks (CNN) for recognising and classifying images. However, given the limitation of supervised labelled imaging data, the classification and predictive risk modelling of medical diagnosis tend to compromise. This paper aims to identify and monitor the effects of COVID-19 on the human lungs by employing Deep Neural Networks on axial CT (Chest Computed Tomography) scan of lungs. We have adopted Mask RCNN, with ResNet50 and ResNet101 as its backbone, to segment the regions, affected by COVID-19 coronavirus. Using the regions of human lungs, where symptoms have manifested, the model classifies condition of the patient as either "Mild" or "Alarming". Moreover, the model is deployed on the Google Cloud Platform (GCP) to simulate the online usage of the model for performance evaluation and accuracy improvement. The ResNet101 backbone model produces an F1 score of 0.85 and faster prediction scores with an average time of 9.04 seconds per inference.

研究动机与目标

• 开发一种基于人工智能的工具，用于通过胸部CT扫描实现COVID-19的早期检测与严重程度分类。
• 比较Mask R-CNN中ResNet50与ResNet101主干网络在分割COVID-19相关肺部异常方面的性能。
• 在Google Cloud Platform上部署功能原型，支持实时临床推理与分诊辅助。
• 通过深度学习技术应对有限标注医学影像数据的挑战，实现精确的分割与分类。
• 通过提供更快捷的AI辅助诊断，支持偏远或资源匮乏地区的医疗提供者。

提出的方法

• 使用Mask R-CNN并以ResNet50和ResNet101作为特征提取器，检测并分割轴向胸部CT扫描中的感兴趣区域。
• 模型输出受影响肺部区域的边界框和分割掩码，并将严重程度分类为“轻度”或“严重”。
• 在Google Cloud Platform（GCP）上通过自建SaaS应用，使用RESTful API与Flask后端执行推理。
• 基于React的前端配合Material UI，使临床医生能够访问患者记录、查看预测结果，并通过实时仪表板监控疾病进展。
• 患者数据与CT扫描以加密形式存储于Google Cloud Storage，通过JSON Web Tokens（JWT）实现基于角色的访问控制。
• 系统支持安全、可扩展且实时的推理，具备GCP上的自动资源扩展与负载均衡能力。

实验结果

研究问题

• RQ1 在使用Mask R-CNN分割胸部CT扫描中COVID-19相关肺部异常时，ResNet50与ResNet101主干网络的表现如何比较？
• RQ2 所提出模型在检测轻度与严重COVID-19病例时的推理速度与分类准确率如何？
• RQ3 基于云部署的AI系统是否能有效支持医疗环境中的实时临床分诊与疾病进展监测？
• RQ4 在F1得分与推理时间方面，不同主干网络架构对模型性能有何影响？
• RQ5 迭代式临床医生反馈在优化感兴趣区域检测与提升模型泛化能力方面发挥何种作用？

主要发现

• ResNet101主干网络在分割COVID-19相关肺部异常方面表现更优，F1得分为0.85。
• ResNet101模型的推理速度更快，单次CT扫描的平均时间为9.04秒。
• 系统已成功部署于Google Cloud Platform，支持实时推理、安全数据处理与基于角色的访问控制。
• 患者CT扫描与推理结果以加密形式安全存储于Google Cloud Storage，授权访问使用唯一加密URL。
• 仪表板支持临床医生通过实时分析图表监控疾病进展，并高效管理患者记录。
• 该模型在资源匮乏地区部署方面具有潜力，可辅助分诊并减少诊断延迟。