[论文解读] Exploration of Interpretability Techniques for Deep COVID-19 Classification using Chest X-ray Images

Soumick Chatterjee, Fatima Saad+11 more|arXiv (Cornell University)|Jun 3, 2020

COVID-19 diagnosis using AI被引用 11

一句话总结

本研究评估了深度学习模型（ResNet18、ResNet34、InceptionV3、InceptionResNetV2、DenseNet161）及其集成模型在使用胸部X光片进行新冠肺炎、肺炎和健康受试者多标签分类中的表现，并采用多种可解释性技术。集成模型的微观F1分数达到0.89，ResNet模型通过聚焦肺部生物相关区域展现出更优的可解释性。

ABSTRACT

The outbreak of COVID-19 has shocked the entire world with its fairly rapid spread and has challenged different sectors. One of the most effective ways to limit its spread is the early and accurate diagnosing infected patients. Medical imaging, such as X-ray and Computed Tomography (CT), combined with the potential of Artificial Intelligence (AI), plays an essential role in supporting medical personnel in the diagnosis process. Thus, in this article five different deep learning models (ResNet18, ResNet34, InceptionV3, InceptionResNetV2 and DenseNet161) and their ensemble, using majority voting have been used to classify COVID-19, pneumoniæ and healthy subjects using chest X-ray images. Multilabel classification was performed to predict multiple pathologies for each patient, if present. Firstly, the interpretability of each of the networks was thoroughly studied using local interpretability methods - occlusion, saliency, input X gradient, guided backpropagation, integrated gradients, and DeepLIFT, and using a global technique - neuron activation profiles. The mean Micro-F1 score of the models for COVID-19 classifications ranges from 0.66 to 0.875, and is 0.89 for the ensemble of the network models. The qualitative results showed that the ResNets were the most interpretable models. This research demonstrates the importance of using interpretability methods to compare different models before making a decision regarding the best performing model.

研究动机与目标

• 开发并评估基于胸部X光片进行新冠肺炎、肺炎和健康受试者多标签分类的深度学习模型。
• 通过局部和全局可解释性方法评估模型可解释性，以提升临床信任度和决策能力。
• 比较不同网络架构（包括ResNet、Inception和DenseNet）在检测多种病理状况下的性能与可解释性。
• 探究通过多数投票方式构建模型集成是否能提升分类的鲁棒性和泛化能力。
• 基于视觉注意力和激活模式，识别最适合临床部署的最具可解释性和可靠性的模型。

提出的方法

• 对五种预训练的深度学习模型——ResNet18、ResNet34、InceptionV3、InceptionResNetV2和DenseNet161——在结合了新冠肺炎和肺炎影像的多标签胸部X光数据集上进行微调。
• 应用局部可解释性方法，包括遮挡法、显著性图、输入X梯度、引导反向传播、综合梯度和DeepLIFT，以可视化输入图像中的注意力区域。
• 通过神经元激活特征分析网络各层的特征学习模式，评估全局可解释性。
• 通过五种模型的多数投票方式构建集成模型，以提升分类性能并缓解单个模型的缺陷。
• 由医学专家对注意力图进行定性分析，以验证注意力区域的生物学相关性。
• 数据集来源于公开数据源：Cohen等人提供的新冠肺炎X光片和Mooney数据集中的肺炎X光片。

实验结果

研究问题

• RQ1 哪种深度学习架构在使用胸部X光片对新冠肺炎、肺炎和健康受试者进行多标签分类时表现最佳？
• RQ2 不同局部和全局可解释性技术在揭示深度学习模型在医学影像中决策过程方面的表现如何比较？
• RQ3 模型注意力图在多大程度上与放射学相关区域（如肺部和磨玻璃影）一致？
• RQ4 与单个模型相比，模型集成是否能提升分类性能和鲁棒性？
• RQ5 为何某些模型（如DenseNet161）表现出高准确率但可解释性差？这反映了模型复杂度与泛化能力之间的何种关系？

主要发现

• 集成模型实现了最高的微观F1分数0.89，优于单个模型（范围为0.66至0.875）。
• ResNet18和ResNet34展现出更优的可解释性，其注意力图始终聚焦于解剖学上相关的肺部区域。
• DenseNet161虽取得最佳分类性能，但其注意力集中在生物上不相关的区域，可能由于过拟合或模型复杂度过高。
• DenseNet161是拥有最多死亡神经元的模型，表明其在当前任务中可能存在过度参数化。
• 可解释性分析表明，ResNet模型比更深层的InceptionResNetV2等模型更具可靠性与临床合理性，后者表现出不一致的注意力模式。
• 本研究证实，可解释性在模型选择中至关重要，因为高准确率并不能保证临床可信度或生物学合理性。