[论文解读] CheXphoto: 10,000+ Photos and Transformations of Chest X-rays for Benchmarking Deep Learning Robustness

Nick A. Phillips, Pranav Rajpurkar+11 more|arXiv (Cornell University)|Jul 13, 2020

COVID-19 diagnosis using AI参考文献 14被引用 17

一句话总结

CheXphoto 引入了一个大规模基准数据集，包含 10,000 多张智能手机拍摄的胸部 X 光片照片以及从 CheXpert 数据集衍生的合成变换图像，用于评估并提升深度学习模型在真实世界摄影伪影下的鲁棒性。该数据集使模型能够在类似临床环境中使用智能手机拍摄的图像上进行训练和测试，显著提升其在全球低资源医疗环境中的泛化能力。

ABSTRACT

Clinical deployment of deep learning algorithms for chest x-ray interpretation requires a solution that can integrate into the vast spectrum of clinical workflows across the world. An appealing approach to scaled deployment is to leverage the ubiquity of smartphones by capturing photos of x-rays to share with clinicians using messaging services like WhatsApp. However, the application of chest x-ray algorithms to photos of chest x-rays requires reliable classification in the presence of artifacts not typically encountered in digital x-rays used to train machine learning models. We introduce CheXphoto, a dataset of smartphone photos and synthetic photographic transformations of chest x-rays sampled from the CheXpert dataset. To generate CheXphoto we (1) automatically and manually captured photos of digital x-rays under different settings, and (2) generated synthetic transformations of digital x-rays targeted to make them look like photos of digital x-rays and x-ray films. We release this dataset as a resource for testing and improving the robustness of deep learning algorithms for automated chest x-ray interpretation on smartphone photos of chest x-rays.

研究动机与目标

• 为解决深度学习模型在应用于智能手机拍摄的胸部 X 光片图像时鲁棒性不足的问题，这些图像由于摄影伪影与数字 X 光片在外观上存在显著差异。
• 实现自动化胸部 X 光片解读在全局临床工作流程中的可扩展部署，特别是在 X 光片和智能手机为常规设备的地区。
• 开发一个公开可用的基准数据集，以捕捉真实的摄影失真，如眩光、模糊、光照变化和透视失真。
• 支持在远程医疗和移动医疗应用中遇到的真实世界成像条件下，能够有效泛化的模型的训练与评估。
• 通过在模型开发中引入摄影数据，减少深度学习模型从数字 X 光片过渡到 X 光片照片时性能下降的问题。

提出的方法

• 该数据集通过使用智能手机（OnePlus 6 和 iPhone 8）在不同光照和位置条件下拍摄显示在显示器上的数字胸部 X 光片的自然照片构建而成，其流程与 iPhone1k 数据集类似。
• 通过一个管道生成合成变换，对数字 X 光片应用真实的摄影失真（如模糊、旋转、平移、眩光和摩尔纹），以模拟智能手机拍摄的效果。
• 训练集包含从 CheXpert 训练集中抽取的 10,507 张 X 光片，来自 3,000 名不同患者，包含自然照片和合成变换图像。
• 验证集包含来自 CheXpert 验证集的 234 张 X 光片，来自 200 名患者，包含自然图像和合成图像，外加来自 MIMIC-CXR 和 VinBrain 的 200 张真实 X 光片的照片。
• 测试集包含来自 CheXpert 测试集的 668 张 X 光片，来自 500 名患者，照片使用 iPhone 8 拍摄，保留用于官方模型评估。
• 所有数据按变换类型组织，图像路径和标签存储在 CSV 文件中，合成生成代码已开源，以确保可复现性。

实验结果

研究问题

• RQ1 在数字 X 光片上训练的深度学习模型在测试智能手机拍摄的 X 光片图像时表现如何，性能下降的幅度有多大？
• RQ2 合成摄影变换在多大程度上能提升模型对真实世界智能手机拍摄的 X 光片图像的泛化能力？
• RQ3 在结合自然照片和 X 光片合成变换的混合数据上训练的模型，能否在真实世界摄影输入下实现与数字 X 光片模型相当的鲁棒性能？
• RQ4 在验证集中包含真实 X 光片照片在多大程度上影响模型评估，并提升其在低资源临床环境中的泛化能力？
• RQ5 多种摄影伪影（如眩光、模糊和光照变化）对自动化胸部 X 光片分类模型性能的影响如何？

主要发现

• CheXphoto 提供了一个全面的基准，包含超过 10,000 张图像，包括自然照片、数字 X 光片的合成变换图像，以及 200 张真实 X 光片的照片，可实现对模型泛化能力的稳健评估。
• 该数据集包含来自 3,000 名不同患者的 10,507 张训练图像，来自 CheXpert 验证集的 200 名患者共 234 张验证图像，以及来自 CheXpert 测试集的 500 名患者共 668 张测试图像。
• 验证集额外包含来自 MIMIC-CXR 和 VinBrain 的 200 张真实 X 光片的照片，数据源自越南和美国的真实临床环境。
• 合成变换管道成功复现了常见的摄影伪影，如模糊、眩光和透视失真，实现了能模拟真实世界智能手机拍摄效果的数据增强。
• 该数据集公开可用，合成数据生成代码也已开源，使研究社区能够实现可复现性并进一步扩展。
• 模型评估通过 CodaLab 进行，采用私有测试集和实时排行榜，以确保对未见摄影输入的性能评估公平且可复现。