[论文解读] Guided Super-Resolution as a Learned Pixel-to-Pixel Transformation.

Riccardo de Lutio, Stefano D’Aronco+2 more|arXiv (Cornell University)|Apr 2, 2019

Advanced Image Processing Techniques参考文献 21被引用 4

一句话总结

本文提出了一种新颖的无监督引导超分辨率方法，将任务重新定义为从高分辨率引导图像到源图像域的像素到像素映射，使用可学习的多层感知机（MLP）实现。通过仅对映射函数进行正则化而非输出，该方法在深度图和树高图超分辨率任务中生成的高分辨率结果比以往方法更加清晰自然。

ABSTRACT

Guided super-resolution is a unifying framework for several computer vision tasks where the inputs are a low-resolution source image of some target quantity (e.g., perspective depth acquired with a time-of-flight camera) and a high-resolution guide image from a different domain (e.g., a gray-scale image from a conventional camera); and the target output is a high-resolution version of the source (in our example, a high-res depth map). The standard way of looking at this problem is to formulate it as a super-resolution task, i.e., the source image is upsampled to the target resolution, while transferring the missing high-frequency details from the guide. Here, we propose to turn that interpretation on its head and instead see it as a pixel-to-pixel mapping of the guide image to the domain of the source image. The pixel-wise mapping is parameterised as a multi-layer perceptron, whose weights are learned by minimising the discrepancies between the source image and the downsampled target image. Importantly, our formulation makes it possible to regularise only the mapping function, while avoiding regularisation of the outputs; Thus producing crisp, natural-looking images. The proposed method is unsupervised, using only the specific source and guide images to fit the mapping. We evaluate our method on two different tasks, super-resolution of depth maps and of tree height maps. In both cases we clearly outperform recent baselines in quantitative comparisons, while delivering visually much sharper outputs.

研究动机与目标

• 解决利用来自不同域的高分辨率引导图像生成高分辨率源图像（如深度图）的挑战。
• 克服标准超分辨率方法在上采样源图像并依赖引导特征时导致输出模糊的局限性。
• 开发一种避免对输出图像进行正则化的技术，以保留细节并保持清晰度。
• 实现仅使用源图像与引导图像对的无监督训练，无需源图像的配对高分辨率真实值。

提出的方法

• 将引导超分辨率重新定义为从引导图像到源图像域的像素级变换，而非对源图像进行上采样。
• 使用具有可学习权重的多层感知机（MLP）参数化像素到像素的映射。
• 通过最小化源图像与映射后引导图像下采样结果之间的差异来训练MLP。
• 仅对映射函数施加正则化，而非对输出进行正则化，以保留高频细节并避免模糊。
• 采用仅依赖源图像与引导图像对的端到端无监督训练方案。
• 利用引导图像与源图像之间的空间对应关系，在映射过程中对齐特征。

实验结果

研究问题

• RQ1 从引导图像到源域的可学习像素到像素映射是否能在引导超分辨率任务中优于传统超分辨率方法？
• RQ2 仅对映射函数进行正则化而非对输出进行正则化，是否能产生更清晰、更自然的高分辨率结果？
• RQ3 无监督方法是否能在无需源图像配对高分辨率真实值的情况下实现最先进性能？
• RQ4 所提出方法在不同引导超分辨率任务（如深度图与树高图超分辨率）中的泛化能力如何？

主要发现

• 所提方法在深度图与树高图超分辨率任务中均显著优于近期基线方法的定量性能。
• 视觉结果表明，输出明显更清晰、更自然，且对细微细节的保留效果更佳。
• 即使在缺乏源图像高分辨率真实值的情况下，该方法在图像清晰度与结构保真度方面仍优于现有方法。
• 由于未对输出施加正则化，模型能更有效地生成高频细节，优于对输出变化施加惩罚的方法。