[论文解读] Multi-frame image super-resolution with fast upscaling technique

Longguang Wang, Zaiping Lin+2 more|arXiv (Cornell University)|Jun 20, 2017

Advanced Image Processing Techniques被引用 10

一句话总结

本文提出了一种用于多帧图像超分辨率（MISR）的端到端快速上采样技术，该技术用在低分辨率空间中应用的可学习滤波器替代了传统的插值方法，随后通过特征重排来重建高分辨率输出。该方法降低了计算复杂度并最小化了模糊伪影，在结合双边总变差正则化时实现了最先进性能。

ABSTRACT

Multi-frame image super-resolution (MISR) aims to fuse information in low-resolution (LR) image sequence to compose a high-resolution (HR) one, which is applied extensively in many areas recently. Different with single image super-resolution (SISR), sub-pixel transitions between multiple frames introduce additional information, attaching more significance to fusion operator to alleviate the ill-posedness of MISR. For reconstruction-based approaches, the inevitable projection of reconstruction errors from LR space to HR space is commonly tackled by an interpolation operator, however crude interpolation may not fit the natural image and generate annoying blurring artifacts, especially after fusion operator. In this paper, we propose an end-to-end fast upscaling technique to replace the interpolation operator, design upscaling filters in LR space for periodic sub-locations respectively and shuffle the filter results to derive the final reconstruction errors in HR space. The proposed fast upscaling technique not only reduce the computational complexity of the upscaling operation by utilizing shuffling operation to avoid complex operation in HR space, but also realize superior performance with fewer blurring artifacts. Extensive experimental results demonstrate the effectiveness and efficiency of the proposed technique, whilst, combining the proposed technique with bilateral total variation (BTV) regu-larization, the MISR approach outperforms state-of-the-art methods.

研究动机与目标

• 通过改进多帧图像超分辨率（MISR）中多个低分辨率帧之间子像素过渡的融合，来应对MISR的病态性质。
• 减少现有MISR方法中由于粗略插值导致的重建误差和模糊伪影。
• 设计一种计算高效的上采样机制，避免在高分辨率空间中进行复杂操作。
• 通过将所提出的上采样技术与双边总变差（BTV）正则化相结合，进一步提升性能。

提出的方法

• 该方法为图像的每个周期性子位置在低分辨率（LR）空间中设计可学习的上采样滤波器。
• 将这些滤波器应用于低分辨率空间中的特征图，生成对应不同子像素偏移的中间特征图。
• 通过重排操作在子位置之间重新排列特征图，以合成最终的高分辨率（HR）输出，从而有效避免在高分辨率空间中的直接计算。
• 整个上采样过程是可微的，并被集成到MISR的端到端训练框架中。
• 该方法与双边总变差（BTV）正则化相结合，以进一步提升重建质量和边缘锐度。
• 使用最小化预测高分辨率图像与真实高分辨率图像之间重建误差的损失函数，对方法进行端到端训练。

实验结果

研究问题

• RQ1 在低分辨率空间中设计的可学习、高效的上采样机制是否能优于多帧超分辨率中的传统插值方法？
• RQ2 用滤波器-重排策略替代插值是否能减少重建高分辨率图像中的模糊伪影？
• RQ3 与现有MISR方法相比，所提出的上采样技术是否能在更低计算成本下实现更优性能？
• RQ4 将所提出的上采样技术与BTV正则化相结合，对重建质量与边缘保持有何影响？

主要发现

• 所提出的快速上采样技术通过在低分辨率空间中执行操作并使用重排操作替代直接在高分辨率空间中的计算，显著降低了计算复杂度。
• 与基于插值的基线方法相比，该方法在视觉质量上表现更优，模糊伪影更少。
• 当与双边总变差（BTV）正则化结合时，该方法在定量指标和视觉保真度方面均优于当前最先进方法。
• 大量实验证明了所提方法在多个基准数据集上的有效性与高效性。