[论文解读] A residual dense vision transformer for medical image super-resolution with segmentation-based perceptual loss fine-tuning

Jin Zhu, Guang Yang+1 more|arXiv (Cornell University)|Feb 22, 2023

Advanced Image Processing Techniques被引用 7

一句话总结

本文提出了一种残差密集视觉变换器（RDST），用于医学图像超分辨率，通过整合残差密集连接与局部特征融合来增强特征学习。该方法引入了一种基于分割的感知损失，利用预训练的分割模型提升重建保真度与下游任务性能，在参数量较 SwinIR 减少 38% 的情况下实现了最先进的 PSNR 提升。

ABSTRACT

Super-resolution plays an essential role in medical imaging because it provides an alternative way to achieve high spatial resolutions and image quality with no extra acquisition costs. In the past few decades, the rapid development of deep neural networks has promoted super-resolution performance with novel network architectures, loss functions and evaluation metrics. Specifically, vision transformers dominate a broad range of computer vision tasks, but challenges still exist when applying them to low-level medical image processing tasks. This paper proposes an efficient vision transformer with residual dense connections and local feature fusion to achieve efficient single-image super-resolution (SISR) of medical modalities. Moreover, we implement a general-purpose perceptual loss with manual control for image quality improvements of desired aspects by incorporating prior knowledge of medical image segmentation. Compared with state-of-the-art methods on four public medical image datasets, the proposed method achieves the best PSNR scores of 6 modalities among seven modalities. It leads to an average improvement of $+0.09$ dB PSNR with only 38\% parameters of SwinIR. On the other hand, the segmentation-based perceptual loss increases $+0.14$ dB PSNR on average for SOTA methods, including CNNs and vision transformers. Additionally, we conduct comprehensive ablation studies to discuss potential factors for the superior performance of vision transformers over CNNs and the impacts of network and loss function components. The code will be released on GitHub with the paper published.

研究动机与目标

• 解决将视觉变换器应用于低层次医学图像超分辨率时性能落后于自然图像任务的挑战。
• 通过在视觉变换器架构中引入受 CNN 启发的机制——残差学习、密集连接与局部特征融合，提升医学影像超分辨率质量。
• 通过将预训练医学图像分割模型的先验知识融入损失函数，提升感知质量与下游分割性能。
• 在多种医学影像模态下实现单图超分辨率的最先进性能，同时降低模型复杂度。

提出的方法

• 提出一种残差密集视觉变换器（RDST），结合残差学习与密集特征连接及局部特征融合，以改善视觉变换器中的特征传播与表征能力。
• 设计一种高效变体 RDST-E，参数量减少（为 SwinIR 的 38%），同时保持竞争力的性能。
• 提出一种基于分割的感知损失（$\mathcal{L}_{E(1)}$），利用预训练 U-Net 的特征指导超分辨率，提升重建保真度与下游分割准确率。
• 在医学图像数据集（OASIS、ACDC、COVID）上，使用基于分割的感知损失对超分辨率模型进行微调，利用各数据集对应的预训练分割模型。
• 采用 $\mathcal{L}_1$ 与基于分割的感知损失相结合的方式训练模型，并通过消融实验验证各组件的贡献。
• 利用迁移学习评估基于分割的感知损失在不同医学影像领域间的泛化能力。

实验结果

研究问题

• RQ1 残差密集连接与局部特征融合是否能提升视觉变换器在医学图像超分辨率中的性能？
• RQ2 将源自预训练模型的基于分割的感知损失引入，是否能同时提升超分辨率的图像保真度与下游分割性能？
• RQ3 所提出的 RDST 模型在多种医学影像模态下，与 SOTA 方法（如 SwinIR）相比，在性能与效率方面表现如何？
• RQ4 各独立组件（如残差连接、局部特征融合、基于分割的损失）对整体性能提升的贡献如何？

主要发现

• 所提出的 RDST 模型在七种医学图像模态上平均 PSNR 相较于 SOTA 方法提升 +0.09 dB，且参数量仅为 SwinIR 的 38%。
• 基于分割的感知损失（$\mathcal{L}_{E(1)}$）在 SOTA 方法（包括 CNN 与视觉变换器）上平均提升 PSNR +0.14 dB。
• RDST-E 变体在仅使用 SwinIR 20% 参数量的情况下，相较 SOTA 方法平均提升 PSNR +0.06 dB。
• 基于分割的感知损失在下游分割任务中平均提升 Dice 系数 0.0023，表明机器感知能力得到增强。
• 消融实验表明，残差密集连接与局部特征融合对性能提升有显著贡献，尤其在保留医学图像中的细微结构方面。
• 迁移学习实验表明，基于分割的感知损失在不同医学影像数据集（OASIS、ACDC、COVID）间具有良好的泛化能力，且性能提升一致。