[论文解读] Medical image super-resolution method based on dense blended attention network

Kewen Liu, Yuan Ma+5 more|arXiv (Cornell University)|May 13, 2019

Advanced Image Processing Techniques参考文献 32被引用 7

一句话总结

本文提出了一种用于医学图像超分的密集混合注意力网络（DBA-Net），通过将密集残差学习与一种新型混合注意力机制相结合，增强了高频细节的恢复能力。通过用实例归一化替代批量归一化，并使用转置卷积层进行上采样，该方法在MRI数据集上实现了最先进性能，相较于主流方法，PSNR最高提升11.25 dB，SSIM最高提升14.04%。

ABSTRACT

In order to address the issue that medical image would suffer from severe blurring caused by the lack of high-frequency details in the process of image super-resolution reconstruction, a novel medical image super-resolution method based on dense neural network and blended attention mechanism is proposed. The proposed method adds blended attention blocks to dense neural network(DenseNet), so that the neural network can concentrate more attention to the regions and channels with sufficient high-frequency details. Batch normalization layers are removed to avoid loss of high-frequency texture details. Final obtained high resolution medical image are obtained using deconvolutional layers at the very end of the network as up-sampling operators. Experimental results show that the proposed method has an improvement of 0.05db to 11.25dB and 0.6% to 14.04% on the peak signal-to-noise ratio(PSNR) metric and structural similarity index(SSIM) metric, respectively, compared with the mainstream image super-resolution methods. This work provides a new idea for theoretical studies of medical image super-resolution reconstruction.

研究动机与目标

• 解决由于高频细节丢失导致的医学图像超分中严重模糊的问题。
• 通过增强关键区域和通道的特征学习，提升重建质量。
• 克服批量归一化在超分过程中保留细粒度纹理细节的局限性。
• 设计一种轻量化、高效的网络架构，适用于多种医学影像模态的临床部署。
• 在定量指标（PSNR、SSIM）和定性视觉保真度方面，均优于现有基于深度学习的方法。

提出的方法

• 提出一种密集混合注意力（DBA）模块，联合建模通道注意力与空间注意力，以突出高频细节丰富的区域。
• 采用密集残差连接（DenseNet）以促进层间特征重用和梯度流动。
• 用实例归一化替代批量归一化，以在训练和推理过程中保留高频纹理细节。
• 在网络头部使用转置卷积层实现端到端上采样，避免使用双三次插值进行预上采样。
• 设计一种多尺度超分框架，直接在低分辨率输入上运行，降低计算开销。
• 结合感知损失与重建损失进行网络优化，以平衡视觉保真度与结构准确性。

实验结果

研究问题

• RQ1 混合注意力机制能否有效增强医学图像超分中高频细节的建模能力？
• RQ2 移除批量归一化对超分医学图像中细纹理细节的保留有何影响？
• RQ3 与现有最先进方法相比，将密集残差学习与注意力机制结合，能在多大程度上提升PSNR与SSIM指标？
• RQ4 所提方法在不同医学影像模态（如MRI、CT和PET）上是否具备良好的泛化能力？
• RQ5 该网络是否能在不依赖双三次插值预上采样的情况下实现高质量重建？

主要发现

• 所提出的DBA-Net在4倍缩放比下，于ProstateX数据集上相较基线方法PSNR最高提升11.25 dB。
• 与最先进方法相比，SSIM最高提升14.04%，表明结构保留能力更强。
• 定性结果表明，所提方法生成的图像更清晰，纹理细节更真实，尤其在解剖边界和细微结构处表现更优。
• 网络保持了具有竞争力的推理速度（单张图像推理时间低于0.5秒），仅比VDSR和SRResNet略有增加。
• 在使用迁移学习微调后，该方法在CT、X光和PET等其他模态上也表现出良好的泛化能力。
• 消融实验验证，移除批量归一化显著提升了高频细节恢复能力，证实了该设计选择的有效性。