[论文解读] Adversarial Pseudo Healthy Synthesis Needs Pathology Factorization

Tian Xia, Agisilaos Chartsias+1 more|arXiv (Cornell University)|Jan 10, 2019

Generative Adversarial Networks and Image Synthesis参考文献 12被引用 12

一句话总结

本文提出了一种分解式对抗性方法，通过将病灶图像分解为个体特异性的健康图像和病灶图，实现伪健康图像的合成。通过使用成对或非成对数据进行训练，并利用新型度量方法强制实现身份一致性和健康性，该方法在BraTS和ISLES数据集上优于条件GAN和CycleGAN，实现了身份保持和病灶分解方面的最先进定量结果。

ABSTRACT

Pseudo healthy synthesis, i.e. the creation of a subject-specific `healthy' image from a pathological one, could be helpful in tasks such as anomaly detection, understanding changes induced by pathology and disease or even as data augmentation. We treat this task as a factor decomposition problem: we aim to separate what appears to be healthy and where disease is (as a map). The two factors are then recombined (by a network) to reconstruct the input disease image. We train our models in an adversarial way using either paired or unpaired settings, where we pair disease images and maps (as segmentation masks) when available. We quantitatively evaluate the quality of pseudo healthy images. We show in a series of experiments, performed in ISLES and BraTS datasets, that our method is better than conditional GAN and CycleGAN, highlighting challenges in using adversarial methods in the image translation task of pseudo healthy image generation.

研究动机与目标

• 解决医学图像合成中缺乏配对病灶与健康图像数据的问题。
• 通过显式分解解剖结构与病灶成分，提升伪健康图像生成质量。
• 开发一种无需配对图像-掩码标注的训练框架。
• 提出用于评估合成图像健康性和身份一致性的定量度量指标。
• 在定性和定量基准测试中，证明该方法优于条件GAN和CycleGAN。

提出的方法

• 该方法将病灶图像分解为两个因子：由基于GAN的合成器生成的伪健康图像，以及由分割器预测的二值病灶图。
• 重构网络将伪健康图像与病灶图结合，以重建原始病灶图像，从而强制实现循环一致性。
• 在成对设置中，分割器使用真实病灶掩码进行训练；在非成对设置中，通过改进的循环一致性损失，利用健康到健康的翻译实现身份一致性。
• 该框架采用对抗训练，判别器确保图像合成的真实性，循环一致性损失则用于保持身份一致性。
• 该方法将身份和健康性度量作为损失组件，以指导训练与评估。
• 整个架构通过对抗损失、循环一致性损失和重建损失的组合，实现端到端训练。

实验结果

研究问题

• RQ1 通过显式分解健康解剖结构与疾病位置，能否提升病灶图像合成的质量？
• RQ2 与标准GAN相比，这种分解方式对伪健康图像生成质量有何影响？
• RQ3 能否在无配对图像-掩码标注的情况下，训练出鲁棒的伪健康图像合成方法？
• RQ4 为健康性和身份设计的新定量度量指标，在多大程度上与视觉质量及下游性能相关？
• RQ5 标准GAN和CycleGAN在从病灶扫描生成个体特异性健康图像方面存在哪些局限性？

主要发现

• 在成对训练设置下，该方法在BraTS数据集上实现了最高的身份分数（0.88 ± 0.03）和健康性分数（0.99 ± 0.02），显著优于条件GAN和CycleGAN（p < 0.05）。
• 即使在非成对设置下，该方法在ISLES数据集上仍实现了0.94 ± 0.11的健康性分数，在BraTS数据集上实现了0.98 ± 0.07，均显著优于基线模型。
• 该方法的成对版本在ISLES数据集上实现了98%的健康性分数（0.98 ± 0.04），优于CycleGAN（0.85 ± 0.11）和条件GAN（0.86 ± 0.13）。
• 该方法在生成保留解剖身份的同时准确定位病灶的个体特异性健康图像方面，表现出优越的视觉质量。
• 所提出的健康性和身份度量能有效捕捉定性差异，并与感知图像质量及重建保真度相关。
• 消融实验表明，病灶分解对于避免信息丢失和实现精确重建至关重要，凸显了伪健康图像合成中的一对多挑战。