[论文解读] A Critic Evaluation of Methods for COVID-19 Automatic Detection from X-Ray Images

Gianluca Maguolo, Loris Nanni|arXiv (Cornell University)|Apr 27, 2020

COVID-19 diagnosis using AI被引用 4

一句话总结

本文批判性地评估了基于X光片进行自动COVID-19检测的深度学习方法，表明即使在移除肺部区域后，模型仍能实现高准确率，说明模型学习的是与疾病无关的虚假模式。作者提出了一种公平性度量方法以评估测试协议，并表明由于数据集偏差，当前的评估实践在根本上存在缺陷。

ABSTRACT

In this paper, we compare and evaluate different testing protocols used for automatic COVID-19 diagnosis from X-Ray images in the recent literature. We show that similar results can be obtained using X-Ray images that do not contain most of the lungs. We are able to remove the lungs from the images by turning to black the center of the X-Ray scan and training our classifiers only on the outer part of the images. Hence, we deduce that several testing protocols for the recognition are not fair and that the neural networks are learning patterns in the dataset that are not correlated to the presence of COVID-19. Finally, we show that creating a fair testing protocol is a challenging task, and we provide a method to measure how fair a specific testing protocol is. In the future research we suggest to check the fairness of a testing protocol using our tools and we encourage researchers to look for better techniques than the ones that we propose.

研究动机与目标

• 调查当前用于从X光片中检测COVID-19的深度学习模型所采用的测试协议的有效性。
• 评估模型是否学习疾病相关特征，还是学习数据中的虚假模式。
• 证明即使在输入图像中移除肺部区域，模型仍能实现高性能。
• 提出一种量化测量医疗图像分类中测试协议公平性的方法。
• 鼓励未来研究采用更严格且无偏见的评估标准。

提出的方法

• 作者在X光片上训练分类器，其中包含肺部的中心区域被遮蔽并设为黑色。
• 使用与先前工作相同的训练和测试协议，在标准基准数据集上评估模型性能。
• 提出一种基于模型在肺部被移除时性能表现的公平性度量，衡量此类扰动下的性能下降程度。
• 该方法用于评估模型是否依赖解剖学特征或非肺部区域进行分类。
• 将该度量方法应用于多个现有模型和数据集，以比较不同协议下的公平性。
• 该方法使用标准深度学习架构（如ResNet）和标准数据增强技术，但通过受控的图像遮蔽进行处理。

实验结果

研究问题

• RQ1 深度学习模型在完全移除X光片中肺部区域的情况下，能否实现高准确率？
• RQ2 文献中当前的测试协议在多大程度上依赖非肺部特征，而非疾病特异性模式？
• RQ3 如何对医疗图像分类中的测试协议公平性进行定量测量？
• RQ4 使用有偏见或非代表性数据对模型泛化能力和临床可靠性有何影响？
• RQ5 研究人员如何确保模型学习的是相关诊断特征，而非数据集中的伪影？

主要发现

• 在肺部被移除的X光片上训练的模型仍能实现高分类准确率，表明其依赖非肺部特征。
• 即使X光片中心区域被涂黑，模型性能依然很高，表明模型并未学习与肺部相关的特定模式。
• 所提出的公平性度量成功识别出对图像遮蔽不鲁棒的测试协议，揭示了当前评估实践中的偏差。
• 文献中多个现有方法的高准确率并非源于疾病检测能力，而是由于数据集特有的伪影或非解剖学模式。
• 本研究证明，公平评估不仅需要准确率，还必须验证模型对结构扰动（如肺部移除）的鲁棒性。
• 作者得出结论：当前的评估协议无法可靠评估真正的诊断能力，呼吁未来研究中采用标准化的公平性评估。