[论文解读] Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining
该论文提出一种跨尺度非局部注意机制，能够在图像超分辨率中保留高频细节，优于 naïve cross-scale 和 in-scale 方法。它在 Set14 上的 PSNR（×2）以及在 Urban100 和 Manga109 的定性改进方面表现更优。
Deep convolution-based single image super-resolution (SISR) networks embrace the benefits of learning from large-scale external image resources for local recovery, yet most existing works have ignored the long-range feature-wise similarities in natural images. Some recent works have successfully leveraged this intrinsic feature correlation by exploring non-local attention modules. However, none of the current deep models have studied another inherent property of images: cross-scale feature correlation. In this paper, we propose the first Cross-Scale Non-Local (CS-NL) attention module with integration into a recurrent neural network. By combining the new CS-NL prior with local and in-scale non-local priors in a powerful recurrent fusion cell, we can find more cross-scale feature correlations within a single low-resolution (LR) image. The performance of SISR is significantly improved by exhaustively integrating all possible priors. Extensive experiments demonstrate the effectiveness of the proposed CS-NL module by setting new state-of-the-arts on multiple SISR benchmarks.
研究动机与目标
- 通过利用跨尺度自示例来推动更高质量的超分辨率，同时不对高频信息进行下采样。
- 引入一种跨尺度非局部注意机制，保持高分辨率特征。
- 展示相对于天真跨尺度和标准同尺度注意方法的定量和定性改进。
提出的方法
- 定义跨尺度非局部注意，将目标尺度的特征与相应的高分辨率自示例连接起来，且不进行下采样。
- 将注意力表述为对带有尺度感知特征对的空间位置的非局部求和（Eq. 3）。
- 与天真跨尺度注意（Eq. 2）和同尺度注意（Eq. 1）进行比较，以展示保留高频细节的益处。
- 在标准SR基准（Set14、Urban100、Manga109）上给出实验结果，包括PSNR/视觉对比。
实验结果
研究问题
- RQ1保留高频信息的跨尺度非局部注意是否在SR中优于天真跨尺度和同尺度方法？
- RQ2所提出的 CSNLN 如何影响定量指标（如 PSNR）和在不同数据集上的定性细节重建？
主要发现
- 跨尺度非局部注意（CSNLN）在 Set14 ×2 上的 PSNR 为 33.74，比天真跨尺度 (33.65) 与同尺度 (33.62) 更高。
- 天真跨尺度注意对同尺度注意几乎没有提升，凸显了保留高频细节的重要性。
- 定性结果显示，与若干先进SR方法相比，在Urban100和Manga109上重建的细节更加精细。
- CSNLN 在重建高频结构方面显示出改进，因为保持了高分辨率特征图和自示例提示。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。