[论文解读] Perception Consistency Ultrasound Image Super-resolution via Self-supervised CycleGAN

Heng Liu, Jianyong Liu+3 more|arXiv (Cornell University)|Dec 28, 2020

Advanced Image Processing Techniques参考文献 31被引用 10

一句话总结

本文提出了一种用于超声图像超分辨率的自监督CycleGAN框架，通过双向循环（LR→SR→LR 和 HR→LR→SR）确保重建的低分辨率图像与原始输入一致，从而实现感知一致性。该方法在CCA-US和US-CASE数据集上实现了PSNR、IFC、SSIM和推理速度的最先进性能，相比先前方法在视觉质量上有所提升，且伪影更少。

ABSTRACT

Due to the limitations of sensors, the transmission medium and the intrinsic properties of ultrasound, the quality of ultrasound imaging is always not ideal, especially its low spatial resolution. To remedy this situation, deep learning networks have been recently developed for ultrasound image super-resolution (SR) because of the powerful approximation capability. However, most current supervised SR methods are not suitable for ultrasound medical images because the medical image samples are always rare, and usually, there are no low-resolution (LR) and high-resolution (HR) training pairs in reality. In this work, based on self-supervision and cycle generative adversarial network (CycleGAN), we propose a new perception consistency ultrasound image super-resolution (SR) method, which only requires the LR ultrasound data and can ensure the re-degenerated image of the generated SR one to be consistent with the original LR image, and vice versa. We first generate the HR fathers and the LR sons of the test ultrasound LR image through image enhancement, and then make full use of the cycle loss of LR-SR-LR and HR-LR-SR and the adversarial characteristics of the discriminator to promote the generator to produce better perceptually consistent SR results. The evaluation of PSNR/IFC/SSIM, inference efficiency and visual effects under the benchmark CCA-US and CCA-US datasets illustrate our proposed approach is effective and superior to other state-of-the-art methods.

研究动机与目标

• 解决医学影像中缺乏配对的低分辨率（LR）和高分辨率（HR）超声训练数据的问题。
• 通过在LR与SR图像之间强制执行循环一致性，提升超分辨率结果的感知一致性。
• 开发一种轻量级、自监督的框架，无需配对训练数据。
• 在保持高重建精度的同时，提升超声SR的视觉质量并减少伪影。
• 与现有方法相比，在客观指标和推理效率方面均实现卓越性能。

提出的方法

• 采用自监督学习策略，从无标签的超声图像中生成合成的LR-HR配对。
• 采用深层多尺度编码器-解码器网络，将低分辨率输入超分辨为高分辨率输出。
• 引入一种专用CNN，以随机噪声作为输入，将生成的SR图像退化回低分辨率版本，模拟LR→SR→LR的循环过程。
• 应用反向网络结构，模拟HR→LR→SR的循环过程，实现双向一致性。
• 结合多种损失函数：像素级损失、感知特征损失、对抗损失和循环一致性损失，以优化生成器。
• 利用循环一致性损失最小化分布偏移，减少重建图像中的伪影。

实验结果

研究问题

• RQ1 自监督CycleGAN框架能否在无需配对LR-HR训练数据的情况下实现高质量的超声图像超分辨率？
• RQ2 循环一致性在LR→SR→LR和HR→LR→SR变换中，对保持感知保真度的有效性如何？
• RQ3 结合对抗损失、感知损失和循环一致性损失对超声成像中SR性能的影响如何？
• RQ4 与监督学习和零样本学习方法相比，该方法在视觉质量和客观指标方面的表现如何？
• RQ5 该模型能否在实现SOTA性能的同时保持高推理效率？

主要发现

• 在CCA-US数据集上，该方法实现了34.900的PSNR和2.317的IFC，优于所有对比方法。
• 模型减少了伪影和噪声，尤其避免了ZSSR中常见的孔状结构，从而获得更具诊断可靠性的结果。
• 推理速度在所有对比方法中最高，表明其在临床部署中具备出色的效率和可扩展性。
• 消融实验证实，循环一致性损失是最关键的组件，显著优于仅使用GAN或仅使用循环的基线模型。
• 四种损失（像素级、感知、对抗和循环一致性）的组合实现了最佳的重建精度和视觉质量。
• 该模型轻量化，参数容量仅略高于SRCNN，适用于实时临床应用。