[论文解读] Covid-19 Detection from Chest X-ray and Patient Metadata using Graph Convolutional Neural Networks

Thosini Bamunu Mudiyanselage, Nipuna Senanayake+3 more|arXiv (Cornell University)|May 20, 2021

COVID-19 diagnosis using AI参考文献 16被引用 4

一句话总结

本文提出了一种图卷积神经网络（GCN），通过整合胸部X光片（CXR）图像与患者元数据来检测新冠肺炎，其性能优于迁移学习模型（如ResNet-50）。通过基于相似性的图结构建模数据样本之间的关系，并利用CNN编码器进行特征提取，该GCN在二分类任务中达到94%的准确率，在三分类任务中达到86%的准确率，且泛化能力更强，误报率更低。

ABSTRACT

The novel corona virus (Covid-19) has introduced significant challenges due to its rapid spreading nature through respiratory transmission. As a result, there is a huge demand for Artificial Intelligence (AI) based quick disease diagnosis methods as an alternative to high demand tests such as Polymerase Chain Reaction (PCR). Chest X-ray (CXR) Image analysis is such cost-effective radiography technique due to resource availability and quick screening. But, a sufficient and systematic data collection that is required by complex deep leaning (DL) models is more difficult and hence there are recent efforts that utilize transfer learning to address this issue. Still these transfer learnt models suffer from lack of generalization and increased bias to the training dataset resulting poor performance for unseen data. Limited correlation of the transferred features from the pre-trained model to a specific medical imaging domain like X-ray and overfitting on fewer data can be reasons for this circumstance. In this work, we propose a novel Graph Convolution Neural Network (GCN) that is capable of identifying bio-markers of Covid-19 pneumonia from CXR images and meta information about patients. The proposed method exploits important relational knowledge between data instances and their features using graph representation and applies convolution to learn the graph data which is not possible with conventional convolution on Euclidean domain. The results of extensive experiments of proposed model on binary (Covid vs normal) and three class (Covid, normal, other pneumonia) classification problems outperform different benchmark transfer learnt models, hence overcoming the aforementioned drawbacks.

研究动机与目标

• 为解决迁移学习模型在医学影像中因数据量有限、领域特定性导致的泛化能力差和偏差高的问题。
• 通过基于关系图结构整合影像特征与患者元数据，提升CXR图像中新冠肺炎的检测能力。
• 开发一种在小型、不平衡医学数据集上泛化能力优于现有迁移学习方法的模型。
• 在多分类设置下，实现对新冠肺炎、正常及其它类型肺炎的准确区分。
• 通过基于图的关系学习与注意力感知的特征提取，降低诊断中的误报率。

提出的方法

• 使用CNN编码器（如VGG16架构）从CXR图像中提取深层特征，随后基于样本间相似性将这些特征嵌入图结构中。
• 构建图结构，其中节点代表数据样本（带元数据的CXR图像），边的权重由特征向量之间的余弦相似度决定。
• 图卷积网络（GCNs）通过均值聚合操作执行消息传递，实现图中节点表示的传播与更新。
• 在最终的图嵌入特征上使用Softmax层，实现对正常、新冠肺炎、细菌性、病毒性和真菌性肺炎的多分类。
• 生成显著性图以可视化CXR图像中的注意力区域，验证模型聚焦于临床相关的异常影像。
• 在真实世界的CXR数据集上采用五折交叉验证，端到端训练模型并使用交叉熵损失进行优化。

实验结果

研究问题

• RQ1 基于GCN的模型是否能在CXR图像中对新冠肺炎进行分类，优于传统的迁移学习模型（如ResNet-50）？
• RQ2 整合患者元数据与样本间的关系知识，是否能提升模型的泛化能力并减少过拟合？
• RQ3 图聚合函数的选择（均值、求和、最大值）对医学图数据性能有何影响？
• RQ4 在多分类设置下，该模型能否有效区分新冠肺炎与其他类型的肺炎？
• RQ5 CNN编码器的注意力分布在多大程度上与CXR图像中的放射学表现相关？

主要发现

• 所提出的GCN在二分类任务（新冠肺炎 vs. 正常）中达到94%的准确率，优于ResNet-50、InceptionV3和VGG16。
• 在三分类任务（新冠肺炎、正常、其他肺炎）中，GCN达到86%的准确率，展现出在复杂诊断任务中的强劲性能。
• GCN中的均值聚合函数在密集图中表现出优于求和或最大池化操作的泛化能力。
• 混淆矩阵分析显示，与ResNet-50相比，GCN的误报率显著更低，尤其在将病毒性、细菌性和真菌性肺炎误判为新冠肺炎的情况中。
• 显著性图证实，GCN的CNN编码器将注意力集中在CXR图像中临床相关的异常区域，而VGG16和InceptionV3则表现出分散或错误指向的注意力。
• GCN模型在所有类别中均展现出更优的真正例识别能力，尤其在检测新冠肺炎和细菌性肺炎方面表现突出，这对控制疾病传播至关重要。