[论文解读] Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation to Disease Detection and Localization

Md Mahfuzur Rahman Siddiquee, Zongwei Zhou+5 more|arXiv (Cornell University)|Aug 16, 2019

Generative Adversarial Networks and Image Synthesis参考文献 38被引用 10

一句话总结

本文提出了一种名为固定点生成对抗网络（Fixed-Point GAN）的新颖生成对抗网络，通过在图像翻译过程中学习保留健康或正常图像内容，实现医学图像的虚拟修复。通过引入条件身份损失以强制实现身份保持，并结合对抗损失、域分类损失和循环一致性损失对跨域翻译进行正则化，该模型在仅使用图像级别标注的情况下，实现了图像到图像翻译以及弱监督疾病检测与定位任务的最先进性能。

ABSTRACT

Generative adversarial networks (GANs) have ushered in a revolution in image-to-image translation. The development and proliferation of GANs raises an interesting question: can we train a GAN to remove an object, if present, from an image while otherwise preserving the image? Specifically, can a GAN "virtually heal" anyone by turning his medical image, with an unknown health status (diseased or healthy), into a healthy one, so that diseased regions could be revealed by subtracting those two images? Such a task requires a GAN to identify a minimal subset of target pixels for domain translation, an ability that we call fixed-point translation, which no GAN is equipped with yet. Therefore, we propose a new GAN, called Fixed-Point GAN, trained by (1) supervising same-domain translation through a conditional identity loss, and (2) regularizing cross-domain translation through revised adversarial, domain classification, and cycle consistency loss. Based on fixed-point translation, we further derive a novel framework for disease detection and localization using only image-level annotation. Qualitative and quantitative evaluations demonstrate that the proposed method outperforms the state of the art in multi-domain image-to-image translation and that it surpasses predominant weakly-supervised localization methods in both disease detection and localization. Implementation is available at https://github.com/jlianglab/Fixed-Point-GAN.

研究动机与目标

• 解决训练生成对抗网络以移除特定对象（如眼镜、病灶）的同时保留图像其他所有内容的挑战。
• 克服现有生成对抗网络在同域翻译中的局限性，即健康图像常被改变或损坏。
• 仅使用图像级别标注实现疾病检测与定位，避免对像素级边界框或分割掩码的依赖。
• 开发一种可扩展的、与源域无关的图像到图像翻译框架，无需为每对域单独训练生成器，即可在多个域之间泛化。
• 实现最小化、属性特定的图像变换，仅影响相关区域，同时保留无关属性（如头发、肤色和背景）

提出的方法

• 引入条件身份损失以监督同域翻译，确保健康或正常图像在翻译过程中保持不变。
• 通过改进的对抗损失、域分类损失和循环一致性损失对跨域翻译进行正则化，以保持结构和语义的一致性。
• 训练单一生成器以实现多域翻译，无需为每对域单独配置生成器，从而提升可扩展性。
• 利用固定点特性——即正常图像的输出与输入完全相同——通过原始图像与翻译后图像的相减揭示病灶区域。
• 将原始图像与翻译后图像之间的差异图用作弱监督定位图，无需边界框标注即可识别病灶区域。
• 通过将所有输入（病患或健康）翻译至健康域，将该框架应用于脑部病灶和肺栓塞检测等医学影像任务。

实验结果

研究问题

• RQ1 能否训练一个生成对抗网络，实现最小化、属性特定的图像变换，在保留正常图像内容的同时移除特定对象？
• RQ2 能否使单一生成对抗网络模型在无需为每对域配置专用生成器的情况下，泛化于多个域？
• RQ3 固定点翻译学习是否能够仅使用图像级别标注实现准确的疾病检测与定位？
• RQ4 在同域翻译中强制实施身份保持是否能提升医学图像翻译与异常定位的性能？
• RQ5 在无像素级监督的情况下，由原始图像与翻译后图像生成的差异图在多大程度上可作为精确的疾病定位图？

主要发现

• 在图像级别肺栓塞检测任务中，固定点生成对抗网络的曲线下面积（AUC）达到0.9668，显著优于StarGAN（0.8832）和ResNet-50（0.8879）。
• 在病灶级别定位任务中，固定点生成对抗网络在每体积1个假阳性率下达到97.2%的敏感度，优于StarGAN（88.9%）和ResNet-50（80.6%）。
• 定性分析表明，与StarGAN相比，固定点生成对抗网络在同域和跨域翻译中产生的伪影更少，后者常引入如胡须、肤色改变和背景变化等虚假元素。
• 在差异图和叠加定位结果中，该方法对眼镜和病理性病灶的定位精度高于类激活图（CAM）和f-AnoGAN。
• 固定点生成对抗网络在同域翻译中保持了高保真度，原始图像与翻译后健康图像之间的差异极小，证实了有效固定点学习的实现。
• 该框架通过生成能准确突出病灶区域的差异图，实现了弱监督定位，即使没有边界框或分割标注也能实现。