[论文解读] A hybrid approach of interpolations and CNN to obtain super-resolution

Ram Krishna Pandey, A. G. Ramakrishnan|arXiv (Cornell University)|May 23, 2018

Advanced Image Processing Techniques参考文献 18被引用 5

一句话总结

本文提出了一种轻量级超分辨率方法，将传统插值技术（双三次、双线性、最近邻）与浅层卷积神经网络（CNN）相结合，以提升图像分辨率。通过学习插值特征的非线性融合并使用跳跃连接，该模型在计算成本较低的情况下实现了最先进的PSNR性能，并在包括4×放大在内的多种数据集上表现出良好的泛化能力。

ABSTRACT

We propose a novel architecture that learns an end-to-end mapping function to improve the spatial resolution of the input natural images. The model is unique in forming a nonlinear combination of three traditional interpolation techniques using the convolutional neural network. Another proposed architecture uses a skip connection with nearest neighbor interpolation, achieving almost similar results. The architectures have been carefully designed to ensure that the reconstructed images lie precisely in the manifold of high-resolution images, thereby preserving the high-frequency components with fine details. We have compared with the state of the art and recent deep learning based natural image super-resolution techniques and found that our methods are able to preserve the sharp details in the image, while also obtaining comparable or better PSNR than them. Since our methods use only traditional interpolations and a shallow CNN with less number of smaller filters, the computational cost is kept low. We have reported the results of two proposed architectures on five standard datasets, for an upscale factor of 2. Our methods generalize well in most cases, which is evident from the better results obtained with increasingly complex datasets. For 4-times upscaling, we have designed similar architectures for comparing with other methods.

研究动机与目标

• 开发一种计算效率高的超分辨率方法，使其在多种自然图像数据集上具有良好的泛化能力。
• 探索传统插值技术（双三次、双线性、最近邻）作为基于深度学习的超分辨率方法的输入特征的作用。
• 通过使用浅层CNN学习插值输入的非线性组合，提升图像重建质量。
• 在保持或超越更深层最先进模型性能的同时，降低模型复杂度。
• 研究在保留细节和高频分量方面，使用最近邻插值的跳跃连接的有效性。

提出的方法

• 该模型使用由三种传统插值方法（双三次、双线性、最近邻）对低分辨率输入图像进行处理后形成的混合输入空间。
• 一个浅层CNN学习三种插值特征图的非线性组合，以重建高分辨率图像。
• 第二种架构在最终输出层与最近邻插值输入之间引入跳跃连接，以增强特征保留。
• 网络通过最小化重建误差的损失函数进行端到端训练，无需双三次预处理。
• 对于4×放大，设计了类似架构（I4C和I2CI2C），通过堆叠转置卷积层逐步上采样特征。
• 在训练和推理过程中，模型联合处理所有三个颜色通道，以提升特征一致性。

实验结果

研究问题

• RQ1 结合传统插值与浅层CNN的混合方法是否能在计算成本更低的情况下实现具有竞争力的超分辨率性能？
• RQ2 多种插值方法的整合在多大程度上提升了模型在多样化图像数据集上的泛化能力？
• RQ3 在基于深度学习的超分辨率框架中，最近邻插值的贡献是什么，尤其是在文献中常被忽视的情况下？
• RQ4 参数更少的轻量级CNN在PSNR和感知质量方面，能在多大程度上超越更深、更复杂的模型？
• RQ5 使用最近邻插值的跳跃连接在多大程度上影响了高频细节的保留和重建保真度？

主要发现

• 在五个标准数据集上，该方法在2×放大时实现了与最先进深度学习超分辨率技术相当或更优的PSNR。
• 该模型在日益复杂的数据集上表现出良好的泛化能力，且随着数据集复杂度的增加，性能进一步提升。
• 在4×放大时，I2CI2C架构的感知质量与SRGAN（拥有数百万参数的深层模型）相当，尽管其架构简单得多。
• 最近邻插值在深度学习超分辨率框架中常被忽视，但其在保留锐度和细节方面起着关键作用，尤其是在跳跃连接架构中。
• 即使将真实图像直接输入模型，该方法仍能保持高重建质量，表明其具有鲁棒性并实现了准确的流形对齐。
• 该模型在参数数量和计算成本方面显著少于大多数近期SOTA方法，因此适用于实时应用。