[论文解读] Single Image Super Resolution - When Model Adaptation Matters

Yudong Liang, Radu Timofte+3 more|arXiv (Cornell University)|Mar 31, 2017

Advanced Image Processing Techniques参考文献 27被引用 11

一句话总结

本文提出一种深度卷积神经网络（DPN），通过利用低分辨率输入图像中的内部先验进行模型自适应，以提升单图像超分辨率性能。通过在输入图像内部的自相似块（即内部样本）上微调预训练模型，该方法在最先进方法的基础上实现了0.1–0.3 dB的PSNR增益，尤其在大尺寸或重复性较强的图像上表现更优，且与反向投影或增强预测结合后可进一步提升性能。

ABSTRACT

In the recent years impressive advances were made for single image super-resolution. Deep learning is behind a big part of this success. Deep(er) architecture design and external priors modeling are the key ingredients. The internal contents of the low resolution input image is neglected with deep modeling despite the earlier works showing the power of using such internal priors. In this paper we propose a novel deep convolutional neural network carefully designed for robustness and efficiency at both learning and testing. Moreover, we propose a couple of model adaptation strategies to the internal contents of the low resolution input image and analyze their strong points and weaknesses. By trading runtime and using internal priors we achieve 0.1 up to 0.3dB PSNR improvements over best reported results on standard datasets. Our adaptation especially favors images with repetitive structures or under large resolutions. Moreover, it can be combined with other simple techniques, such as back-projection or enhanced prediction, for further improvements.

研究动机与目标

• 通过利用输入图像内部的自相似性，解决现有深度学习方法在超分辨率任务中忽略图像内部结构的局限性。
• 通过将预训练的深度网络自适应于低分辨率输入图像的特定内容，提升模型的鲁棒性与性能。
• 探究从输入图像中提取的内部先验（即自相似块）在提升超分辨率结果方面的有效性。
• 证明基于内部样本的模型自适应在大尺寸或高度重复性图像上尤为有效。
• 探索内部先验与成熟技术（如反向投影或增强预测）的互补性，以实现进一步的性能提升。

提出的方法

• 提出一种新型深度卷积神经网络（DPN），引入投影跳跃连接以保留负向特征，并缓解梯度消失/爆炸问题。
• 在外部样本对（如来自公开数据集的样本）上训练DPN，学习从低分辨率块到高分辨率块的一般映射关系。
• 通过在从低分辨率输入图像中提取的内部样本（即自相似块）上微调预训练的DPN，实现对输入图像内容的模型自适应。
• 采用模型选择策略，基于重建质量从多样化的候选模型池中选择最优自适应模型。
• 将自适应模型与后处理技术结合：迭代反向投影和通过数据增强（旋转与翻转）实现的增强预测。
• 对输入图像的变换版本（旋转/翻转）应用自适应模型，生成高分辨率输出，反向变换并平均结果，以提升一致性和质量。

实验结果

研究问题

• RQ1 内部先验（即输入低分辨率图像中的自相似性）是否能够超越外部先验，在基于深度学习的单图像超分辨率中实现性能提升？
• RQ2 通过在内部样本上微调实现的模型自适应，在多样化图像类型上的超分辨率性能提升效果如何？
• RQ3 内部先验自适应带来的性能增益是否随图像尺寸或结构冗余性（如重复纹理）而变化？
• RQ4 内部先验自适应能否与现有后处理技术（如反向投影或增强预测）有效结合，以实现性能进一步提升？
• RQ5 内部先验自适应带来的性能提升在标准基准（如Set5、Set14、BSD100、Urban100和L20）上是否具有一致性？

主要发现

• 通过内部样本进行模型自适应，相较于标准数据集上报告的最佳结果，PSNR提升了0.1–0.3 dB；当与增强预测结合时，在L20上提升达0.40 dB，在Urban100上达0.39 dB。
• 在具有高自相似性或重复性结构的图像（如Urban100和L20）上观察到最大增益，自适应方法相比基础DPN最高可提升0.39 dB。
• 将内部先验自适应与增强预测（E）结合可实现最高增益——在L20上达0.40 dB，在Urban100上达0.39 dB，表明二者具有显著互补性。
• 反向投影（B）和增强预测（E）各自均带来可测量的性能增益，但与内部自适应结合后可实现最显著的性能提升。
• 所提出的投影跳跃连接有效保留了负向特征，提升了训练稳定性，从而增强了网络的鲁棒性与表征能力。
• 本研究证明，即使架构固定的预训练深度模型，也可通过内容特定的自适应实现显著性能提升，表明现有模型中仍存在未被充分挖掘的表征潜力。