[论文解读] CheXphoto: 10,000+ Smartphone Photos and Synthetic Photographic Transformations of Chest X-rays for Benchmarking Deep Learning Robustness

Nick A. Phillips, Pranav Rajpurkar+8 more|arXiv (Cornell University)|Jul 13, 2020

COVID-19 diagnosis using AI参考文献 12被引用 11

一句话总结

CheXphoto 引入了一个大规模数据集，包含 10,000 多张智能手机拍摄的胸部 X 光片图像以及从 CheXpert 数据集衍生的合成摄影转换图像，用于评估深度学习模型在真实世界成像伪影（如屏幕反光和不良角度）下的鲁棒性。该数据集支持训练和评估能够泛化到临床智能手机拍摄图像的模型，从而提升其在真实世界中的部署潜力。

ABSTRACT

Clinical deployment of deep learning algorithms for chest x-ray interpretation requires a solution that can integrate into the vast spectrum of clinical workflows across the world. An appealing solution to scaled deployment is to leverage the existing ubiquity of smartphones: in several parts of the world, clinicians and radiologists capture photos of chest x-rays to share with other experts or clinicians via smartphone using messaging services like WhatsApp. However, the application of chest x-ray algorithms to photos of chest x-rays requires reliable classification in the presence of smartphone photo artifacts such as screen glare and poor viewing angle not typically encountered on digital x-rays used to train machine learning models. We introduce CheXphoto, a dataset of smartphone photos and synthetic photographic transformations of chest x-rays sampled from the CheXpert dataset. To generate CheXphoto we (1) automatically and manually captured photos of digital x-rays under different settings, including various lighting conditions and locations, and, (2) generated synthetic transformations of digital x-rays targeted to make them look like photos of digital x-rays and x-ray films. We release this dataset as a resource for testing and improving the robustness of deep learning algorithms for automated chest x-ray interpretation on smartphone photos of chest x-rays.

研究动机与目标

• 为解决在智能手机拍摄的胸部 X 光片上部署深度学习模型时存在的鲁棒性不足问题，这些图像与标准数字 X 光片存在显著差异。
• 模拟临床智能手机使用中常见的真实世界成像伪影，如屏幕反光、光照变化和视角畸变。
• 创建一个基准数据集，以评估模型在全局临床工作流程中遇到的各种摄影条件下性能的表现。
• 支持开发能够有效泛化到真实世界智能手机拍摄的 X 光片图像的深度学习模型。

提出的方法

• 在不同光照条件、地点和设备类型下拍摄真实智能手机图像，以模拟真实的成像差异。
• 同时收集自动拍摄和手动拍摄的图像，以确保图像质量和伪影的多样性。
• 生成数字 X 光片的合成摄影转换，以模拟智能手机拍摄图像的视觉特征，包括镜头畸变和反光。
• 使用 CheXpert 数据集作为原始数字 X 光片的来源，以确保临床相关性和标准化。
• 设计合成转换以复现常见伪影，如屏幕反光、过曝以及手持拍摄引起的透视畸变。
• 发布完整的 CheXphoto 数据集，以支持在真实世界部署场景中对模型鲁棒性进行可复现的基准测试。

实验结果

研究问题

• RQ1 在标准数字 X 光片上训练的深度学习模型，在测试具有常见伪影的智能手机拍摄 X 光片图像时表现如何？
• RQ2 合成摄影转换在多大程度上能准确模拟真实世界中智能手机图像退化，以用于训练鲁棒性模型？
• RQ3 哪些特定的成像伪影在智能手机拍摄的 X 光片场景中最显著地降低模型性能？
• RQ4 在 CheXphoto 上微调的模型是否比仅在数字 X 光片上训练的模型在真实世界智能手机拍摄的 X 光片图像上具有更好的泛化能力？
• RQ5 数字 X 光片与智能手机图像之间的分布差异在多大程度上影响临床环境中模型的可靠性？

主要发现

• CheXphoto 提供了一个多样化且真实的基准，包含超过 10,000 张智能手机拍摄和合成的 X 光片图像，能够对模型泛化能力进行稳健评估。
• 仅在数字 X 光片上训练的模型在测试智能手机拍摄图像时性能显著下降，凸显了对伪影感知训练的需求。
• 合成转换能有效复现真实世界的摄影伪影，从而实现提升模型鲁棒性的数据增强。
• 在微调过程中使用该数据集可显著提升模型在真实世界智能手机图像分布上的性能表现。
• CheXphoto 支持开发更可靠的深度学习系统，用于低资源和以移动设备为主的临床环境中的胸部 X 光片解读。