[论文解读] AdaIN-Switchable CycleGAN for Efficient Unsupervised Low-Dose CT Denoising

Jawook Gu, Jong Chul Ye|arXiv (Cornell University)|Aug 13, 2020

Medical Imaging Techniques and Applications参考文献 33被引用 6

一句话总结

该论文提出AdaIN-Switchable CycleGAN，一种基于自适应实例归一化（AdaIN）的单生成器无监督深度学习框架，用于低剂量CT去噪。该方法通过在单一网络内切换噪声抑制与噪声生成功能，实现了参数减少约50%并提升了训练稳定性，相比以往的CycleGAN方法，取得了更优的PSNR（30.87 dB）与SSIM（0.6605）。

ABSTRACT

Recently, deep learning approaches have been extensively studied for low-dose CT denoising thanks to its superior performance despite the fast computational time. In particular, cycleGAN has been demonstrated as a powerful unsupervised learning scheme to improve the low-dose CT image quality without requiring matched high-dose reference data. Unfortunately, one of the main limitations of the cycleGAN approach is that it requires two deep neural network generators at the training phase, although only one of them is used at the inference phase. The secondary auxiliary generator is needed to enforce the cycle-consistency, but the additional memory requirement and increases of the learnable parameters are the main huddles for cycleGAN training. To address this issue, here we propose a novel cycleGAN architecture using a single switchable generator. In particular, a single generator is implemented using adaptive instance normalization (AdaIN) layers so that the baseline generator converting a low-dose CT image to a routine-dose CT image can be switched to a generator converting high-dose to low-dose by simply changing the AdaIN code. Thanks to the shared baseline network, the additional memory requirement and weight increases are minimized, and the training can be done more stably even with small training data. Experimental results show that the proposed method outperforms the previous cycleGAN approaches while using only about half the parameters.

研究动机与目标

• 为解决传统CycleGAN因需两个独立生成器而带来的高内存与参数开销问题，尽管推理时仅使用其中一个生成器。
• 通过最小化可训练参数数量，实现在有限数据集下稳定训练低剂量CT去噪网络。
• 在无需成对高剂量参考图像的前提下，提升无监督低剂量CT去噪的图像质量。
• 探索小波域处理与身份损失在保留解剖结构和减少伪影方面的应用。

提出的方法

• 采用自适应实例归一化（AdaIN）层实现单个生成器，通过改变AdaIN码，使网络能够在低剂量转高剂量和高剂量转低剂量CT图像之间动态切换角色。
• AdaIN码由一个轻量级码生成网络生成，其参数量远少于主图像生成器。
• 网络通过对抗损失、循环一致性损失和身份损失进行训练，以确保图像翻译的真实感与特征保留。
• 对低剂量CT图像应用小波变换，将其分解为低频与高频子带，使网络专注于学习高频分量中的噪声模式。
• 当输入已处于目标域时，通过最小化输入与重建图像之间的差异，应用身份损失以保留结构细节。
• 采用共享主干权重的单个生成器，与标准CycleGAN相比，显著减少了总参数量。

实验结果

研究问题

• RQ1 能否通过使用带有AdaIN切换功能的单个生成器，替代传统CycleGAN中两个独立生成器的结构，同时保持性能？
• RQ2 通过共享生成器架构减少参数数量，是否能提升训练稳定性，尤其是在训练数据有限的情况下？
• RQ3 与图像域处理相比，小波域处理在低剂量CT去噪中对图像质量保持与伪影抑制的表现如何？
• RQ4 身份损失与小波残差学习在抑制重建图像中人工特征方面的贡献分别是什么？

主要发现

• 所提方法实现PSNR 30.87 dB与SSIM 0.6605，优于WavCycleGAN（PSNR: 30.40 dB, SSIM: 0.6279）。
• 尽管性能相当或更优，该方法总参数量仅为618万，约为WavCycleGAN（1182万）的一半。
• 在训练数据减少至10%时，该方法PSNR仅从30.87 dB下降至30.39 dB，而WavCycleGAN则下降至28.98 dB，表现出更平缓的性能退化。
• 消融实验证实，小波残差学习与身份损失均不可或缺；若任一被移除，差异图像中均会出现明显伪影与边缘失真。
• AdaIN机制通过极小的额外参数实现了高效的生成器切换，显著提升了训练效率与稳定性。
• 与基线方法相比，该方法能更好地保留解剖结构，表现为重建图像中强度变化更小、边缘更清晰。