[论文解读] Continuous Conversion of CT Kernel using Switchable CycleGAN with AdaIN

Serin Yang, Eung Yeop Kim+1 more|arXiv (Cornell University)|Nov 26, 2020

Seismic Imaging and Inversion Techniques参考文献 28被引用 7

一句话总结

本文提出一种可切换的CycleGAN，结合自适应实例归一化（AdaIN），实现无监督、连续的CT核类型转换——支持从锐利核到软核的高保真图像转换，反之亦然，并可通过中间核类型域进行插值。该方法在无需成对训练数据的情况下，性能可媲美有监督学习，从而为临床诊断提供有用的中间核类型图像。

ABSTRACT

X-ray computed tomography (CT) uses different filter kernels to highlight different structures. Since the raw sinogram data is usually removed after the reconstruction, in case there are additional need for other types of kernel images that were not previously generated, the patient may need to be scanned again. Accordingly, there exists increasing demand for post-hoc image domain conversion from one kernel to another without sacrificing the image quality. In this paper, we propose a novel unsupervised continuous kernel conversion method using cycle-consistent generative adversarial network (cycleGAN) with adaptive instance normalization (AdaIN). Even without paired training data, not only can our network translate the images between two different kernels, but it can also convert images along the interpolation path between the two kernel domains. We also show that the quality of generated images can be further improved if intermediate kernel domain images are available. Experimental results confirm that our method not only enables accurate kernel conversion that is comparable to supervised learning methods, but also generates intermediate kernel images in the unseen domain that are useful for hypopharyngeal cancer diagnosis.

研究动机与目标

• 解决在无法获取原始sinoigram数据时，临床后处理生成其他CT核类型图像的需求。
• 通过开发无监督学习方法实现核类型转换，克服对成对训练数据的依赖限制。
• 实现核类型域之间的连续插值，以生成原始采集中未包含的中间核类型。
• 通过在训练中引入中间核类型域图像，利用拆分AdaIN代码生成器，提升模型泛化能力与图像质量。
• 通过生成框架中的循环一致性与身份损失约束，确保结构保真度并减少伪影。

提出的方法

• 采用单条件生成器的可切换CycleGAN架构，结合自适应实例归一化（AdaIN），实现双向核类型转换，同时降低内存开销。
• 引入拆分AdaIN代码生成器，独立地将潜在码条件化于多个核类型域，从而在训练中有效利用中间核类型图像。
• 利用循环一致性损失与身份损失，保持结构保真度，防止生成虚假解剖特征。
• 在多域学习中应用自一致性损失，以稳定训练过程并抑制生成图像中的伪影。
• 使用来自不同核类型域的无成对真实图像进行端到端训练，避免依赖成对sinoigram数据。
• 通过插值AdaIN风格码，在核类型域之间沿最优传输路径进行推理，生成平滑的核类型过渡。

Figure 1 : (a) Vanilla cycleGAN for conversion of two different kernels. (b) Switchable cycleGAN for two domains, and (c) switchable cycleGAN with split AdaIN for three domains.

实验结果

研究问题

• RQ1 无成对训练数据的无监督深度学习模型能否实现高保真度的CT核类型转换？
• RQ2 单个生成器结合AdaIN能否实现包括未见中间核类型在内的多个CT核类型域之间的连续插值？
• RQ3 在训练中引入中间核类型域图像，对插值核类型图像的质量与真实感有何影响？
• RQ4 自一致性损失在稳定多域CycleGAN训练及减少伪影方面发挥何种作用？
• RQ5 与标准GAN相比，该方法在保留解剖结构与避免虚假特征方面表现如何？

主要发现

• 在咽部癌数据集上，采用PolyPhase U-Net的所提方法获得PSNR为31.6671、SSIM为0.8922，优于标准CycleGAN（U-Net）的PSNR（31.2706）与SSIM（0.8887）。
• 在训练中引入中间核类型图像显著提升了插值性能，所有测试数据集的PSNR与SSIM值均更高。
• 自一致性损失有效抑制了伪影：未使用该损失时，骨骼轮廓及图像背景区域出现明显伪影，而应用该损失后伪影被消除。
• 模型沿最优传输路径生成了逼真的中间核类型图像，可可视化在锐利核或软核中均不清晰的结构。
• 尽管性能提升，但部分微小伪影仍存在，例如在脑-骨交界区域像素值过冲，以及在β=0时松质骨边缘增强现象。
• 身份损失与循环一致性损失成功防止了虚假结构的生成，与标准GAN相比，验证了该框架的鲁棒性。

Figure 2 : Generator architecture in two-domain cycleGAN with one AdaIN code generator.