[论文解读] Image Super-Resolution by Neural Texture Transfer

Zhifei Zhang, Zhaowen Wang+2 more|arXiv (Cornell University)|Mar 3, 2019

Advanced Image Processing Techniques参考文献 35被引用 13

一句话总结

本文提出SRNTT，一种用于参考图像增强的端到端深度学习方法，通过从参考图像中进行多尺度神经纹理迁移，以提升高分辨率细节。SRNTT在神经空间而非像素空间中进行多层次特征匹配，基于语义相似性自适应地迁移纹理，实现了最先进性能，并在参考图像无关时仍能平滑退化为单图像超分辨率（SISR）质量。

ABSTRACT

Due to the significant information loss in low-resolution (LR) images, it has become extremely challenging to further advance the state-of-the-art of single image super-resolution (SISR). Reference-based super-resolution (RefSR), on the other hand, has proven to be promising in recovering high-resolution (HR) details when a reference (Ref) image with similar content as that of the LR input is given. However, the quality of RefSR can degrade severely when Ref is less similar. This paper aims to unleash the potential of RefSR by leveraging more texture details from Ref images with stronger robustness even when irrelevant Ref images are provided. Inspired by the recent work on image stylization, we formulate the RefSR problem as neural texture transfer. We design an end-to-end deep model which enriches HR details by adaptively transferring the texture from Ref images according to their textural similarity. Instead of matching content in the raw pixel space as done by previous methods, our key contribution is a multi-level matching conducted in the neural space. This matching scheme facilitates multi-scale neural transfer that allows the model to benefit more from those semantically related Ref patches, and gracefully degrade to SISR performance on the least relevant Ref inputs. We build a benchmark dataset for the general research of RefSR, which contains Ref images paired with LR inputs with varying levels of similarity. Both quantitative and qualitative evaluations demonstrate the superiority of our method over state-of-the-art.

研究动机与目标

• 解决现有单图像超分辨率（SISR）方法在大倍数放大时难以恢复精细纹理的局限性。
• 克服当前基于参考图像的超分辨率（RefSR）方法对参考图像内容相似性和对齐程度的敏感性。
• 开发一种更鲁棒的RefSR框架，即使在参考图像无关或对齐不佳时也能保持性能。
• 建立一个基准数据集，用于在不同参考图像相似度水平下评估RefSR方法。

提出的方法

• 将RefSR问题建模为神经纹理迁移，使用神经特征空间中的多层级特征匹配，而非原始像素空间。
• 采用深度端到端网络，根据参考图像与低分辨率输入在语义和纹理上的相似性，自适应地迁移纹理。
• 通过多个VGG-19层（如relu1_1、relu2_1、relu3_1）的多尺度特征交换，实现分层纹理迁移。
• 引入带空间和感知正则化的加权纹理损失，以确保空间一致性并防止过度风格化。
• 应用可学习的纹理迁移模块，实现局部匹配与特征自适应，无需光流或精确对齐。
• 利用一种新型损失函数，结合内容、感知和纹理成分，以在保留结构的同时增强真实感纹理细节。

实验结果

研究问题

• RQ1 在深层特征空间中进行神经纹理迁移是否能超越传统SISR和依赖对齐的RefSR方法，提升超分辨率质量？
• RQ2 当提供内容相似度较低或无对齐的参考图像时，模型表现如何？
• RQ3 多尺度特征匹配对纹理恢复和鲁棒性有何影响？
• RQ4 统一的损失函数能否有效平衡纹理迁移、内容保持与感知质量？

主要发现

• 在使用高度相似参考图像（HR级别）时，SRNTT在CUFED5数据集上实现了33.87的PSNR和0.959的SSIM，显著优于基线方法。
• 即使使用无关参考图像（LR级别），SRNTT仍保持25.23的PSNR和0.750的SSIM，与最先进的SISR方法（如SRGAN）相当。
• 消融实验表明，使用多个VGG层（relu1/2/3）进行特征交换可使PSNR相比单层方法提升高达8.65 dB，其中relu1_1对纹理恢复贡献最大。
• 禁用纹理损失后，PSNR从25.61降至25.25，证实其在有效纹理迁移与细节恢复中的关键作用。
• 将特征交换替换为光流（SRNTT-flow）导致PSNR显著下降（例如HR级别下从25.82降至24.64），表明神经特征匹配优于几何对齐方法。
• 模型表现出优雅的退化特性：随着参考图像相似度降低，性能平滑下降，即使在无关参考图像下仍保持鲁棒性。