[论文解读] MASA-SR: Matching Acceleration and Spatial Adaptation for Reference-Based Image Super-Resolution

Liying Lu, Wenbo Li+3 more|arXiv (Cornell University)|Jun 4, 2021

Advanced Image Processing Techniques参考文献 32被引用 9

一句话总结

MASA-SR 提出了一种新颖的基于参考图像的图像超分辨率网络，通过粗到细的对应匹配方案降低计算成本，并利用空间自适应特征重映射模块提高对参考图像与低分辨率图像之间分布差异的鲁棒性。该方法在实现两数量级的 FLOPS 减少的同时，显著提升了跨数据集的 PSNR 和 SSIM 性能，达到当前最优水平。

ABSTRACT

Reference-based image super-resolution (RefSR) has shown promising success in recovering high-frequency details by utilizing an external reference image (Ref). In this task, texture details are transferred from the Ref image to the low-resolution (LR) image according to their point- or patch-wise correspondence. Therefore, high-quality correspondence matching is critical. It is also desired to be computationally efficient. Besides, existing RefSR methods tend to ignore the potential large disparity in distributions between the LR and Ref images, which hurts the effectiveness of the information utilization. In this paper, we propose the MASA network for RefSR, where two novel modules are designed to address these problems. The proposed Match & Extraction Module significantly reduces the computational cost by a coarse-to-fine correspondence matching scheme. The Spatial Adaptation Module learns the difference of distribution between the LR and Ref images, and remaps the distribution of Ref features to that of LR features in a spatially adaptive way. This scheme makes the network robust to handle different reference images. Extensive quantitative and qualitative experiments validate the effectiveness of our proposed model.

研究动机与目标

• 通过设计高效的对应匹配机制，解决基于参考图像超分辨率（RefSR）中密集块匹配带来的高计算成本问题。
• 提升对低分辨率图像与参考图像之间分布不匹配（如亮度、色彩差异）的鲁棒性，此类不匹配会损害特征迁移效果。
• 通过自适应特征对齐，实现从参考图像到低分辨率输入的高效且准确的高频细节迁移。
• 在基准数据集上，实现定量指标与视觉质量的当前最优性能。

提出的方法

• 引入匹配与提取模块（MEM），通过将搜索空间限制在局部参考块内，实现粗到细的对应匹配，使 FLOPS 降低两个数量级。
• 利用自然图像中的局部一致性，将块匹配限制在空间一致的区域，提升效率的同时不损失准确性。
• 提出空间自适应模块（SAM），以空间自适应方式学习将参考特征的分布映射为与低分辨率特征相匹配的形式。
• 将 SAM 应用于对齐不同亮度与色彩条件下的特征分布，增强对多样化参考图像的鲁棒性。
• 集成双残差聚合模块（DRAM），分别处理并融合来自低分辨率分支与参考图像分支的特征，提升特征融合效率。
• 采用感知损失与对抗性损失进行端到端训练，以增强生成结果的视觉真实感与结构保真度。

实验结果

研究问题

• RQ1 如何在不牺牲匹配质量的前提下，显著提升基于参考图像超分辨率中对应匹配的计算效率？
• RQ2 低分辨率图像与参考图像之间的分布差异在多大程度上会损害特征迁移？应如何缓解？
• RQ3 当参考图像与低分辨率图像在亮度或色彩分布上不同时，空间自适应归一化模块是否能提升模型鲁棒性？
• RQ4 粗到细匹配与分布对齐对 RefSR 的定量与定性性能分别产生何种影响？

主要发现

• 匹配与提取模块相比密集块匹配，将 FLOPS 降低了约两个数量级，在 1×1 块大小下达到 787.77G FLOPS，最优设置下降至 10.5G。
• 空间自适应模块在参数增加极少（额外 0.15M 参数）的情况下，使 PSNR 提升 0.22 dB，SSIM 提升 0.007。
• 在 CUFED5 数据集上，MASA-SR 实现了 27.54 dB 的 PSNR 与 0.814 的 SSIM，优于先前的 SOTA 方法。
• 定性结果表明，MASA-SR 生成的纹理比 SRNTT 与 TTSR 更为真实且细节更丰富，尤其在挑战性参考图像条件下表现更优。
• 当参考图像亮度变化时（如 Ref’），模型性能保持稳定，而基线模型性能显著下降。
• 消融实验表明，空间自适应模块与双残差聚合模块对最优性能均至关重要，DRAM 在 PSNR 上比简单拼接方法高出 0.11 dB。