[论文解读] Chest X-ray Inpainting with Deep Generative Models

Ecem Sogancioglu, Hu Shi+2 more|arXiv (Cornell University)|Aug 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 6

一句话总结

本文提出使用三种深度生成模型——上下文编码器、语义图像修复和上下文注意力机制——对胸部X光片中缺失区域进行逼真的修复。模型在120万张正常图像块上进行训练，生成的高保真重建结果在与原始图像相减后能突出显示异常区域，且人类观察者在超过50%的情况下无法识别出修复区域，尤其在使用上下文注意力模型时表现更佳。

ABSTRACT

Generative adversarial networks have been successfully applied to inpainting in natural images. However, the current state-of-the-art models have not yet been widely adopted in the medical imaging domain. In this paper, we investigate the performance of three recently published deep learning based inpainting models: context encoders, semantic image inpainting, and the contextual attention model, applied to chest x-rays, as the chest exam is the most commonly performed radiological procedure. We train these generative models on 1.2M 128 $ imes$ 128 patches from 60K healthy x-rays, and learn to predict the center 64 $ imes$ 64 region in each patch. We test the models on both the healthy and abnormal radiographs. We evaluate the results by visual inspection and comparing the PSNR scores. The outputs of the models are in most cases highly realistic. We show that the methods have potential to enhance and detect abnormalities. In addition, we perform a 2AFC observer study and show that an experienced human observer performs poorly in detecting inpainted regions, particularly those generated by the contextual attention model.

研究动机与目标

• 探究最先进的深度生成模型在胸部X光片医学图像修复中的可行性。
• 评估仅在正常图像上训练的生成模型是否能生成逼真的图像块，使其在与原始图像相减后可揭示异常。
• 通过2AFC观察者研究，评估人类专家对修复区域视觉质量与可检测性的判断。
• 确定基于重建的异常检测方法是否可通过修复技术增强胸部X光片中细微异常的可见性。
• 为在无需异常标注数据的情况下，利用无监督生成模型开展医学影像分析奠定基础。

提出的方法

• 在60,000张健康胸部X光片中提取的120万张128×128图像块上，对三种深度生成模型——上下文编码器、语义图像修复和上下文注意力机制——进行训练。
• 每种模型均通过对抗性训练，利用周围上下文信息预测图像块中心64×64区域，以提升生成结果的逼真度。
• 使用PSNR在健康与异常测试图像块上评估性能，量化重建质量。
• 对原始图像块与生成图像块进行像素级相减，以突出差异区域，这些区域可能对应潜在异常。
• 通过一位经验丰富的放射科医生参与的2AFC观察者研究，评估人类对三种模型生成结果中修复区域的可检测性。
• 利用大规模正常X光片数据集对模型进行预训练，实现无需微调即可对正常与异常图像实现零样本推理。

实验结果

研究问题

• RQ1 仅使用正常数据进行训练，现代深度生成模型能否在胸部X光片中生成逼真且上下文一致的修复结果？
• RQ2 在医学图像上，不同生成架构（上下文编码器、语义修复、上下文注意力）在重建质量与逼真度方面表现如何比较？
• RQ3 将修复结果与原始图像相减后，修复区域在多大程度上能揭示异常，表明其在异常检测中的潜力？
• RQ4 对于经验丰富的放射科医生，区分真实图像与修复图像的难易程度如何？哪种模型生成的结果最为逼真？
• RQ5 能否在无需异常训练数据的情况下，将生成修复技术用作增强临床影像中细微或被遮蔽异常的工具？

主要发现

• 上下文注意力模型在视觉逼真度方面表现最佳，人类观察者在2AFC测试中仅正确识别出真实图像37.03%的次数，表明其与真实图像高度难以区分。
• 语义图像修复模型在健康图像块上的PSNR最高（30.18 ± 3.28），表明其在正常解剖结构上的重建保真度最优。
• 在异常图像块上，所有模型的PSNR均显著下降，其中上下文注意力模型达到26.79 ± 3.47，表明异常区域更难被忠实重建。
• 原始图像与生成图像之间的像素级相减在正常区域产生白噪声，而在异常结构（如结节）处产生显著高亮，表明该方法在异常检测方面具有潜力。
• 观察者研究结果证实，上下文注意力模型的输出最难以被识别，其准确率在37.03%的测试中低于随机水平（50%），表明其生成结果具有极高逼真度。
• 结果表明，仅使用正常数据进行训练的生成修复方法可生成临床可接受的重建结果，并通过残差分析揭示异常，支持其在无监督异常检测中的应用。