[论文解读] LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single Image Super-Resolution and Beyond

Wenbo Li, Kun Zhou+4 more|arXiv (Cornell University)|May 21, 2021

Advanced Image Processing Techniques参考文献 50被引用 107

一句话总结

LAPAR 引入了一种轻量、像素级自适应回归方法，它从预定义字典中组装滤波器来执行超分辨 SISR，并且可以扩展到降噪和 JPEG 去阻塞。

ABSTRACT

Single image super-resolution (SISR) deals with a fundamental problem of upsampling a low-resolution (LR) image to its high-resolution (HR) version. Last few years have witnessed impressive progress propelled by deep learning methods. However, one critical challenge faced by existing methods is to strike a sweet spot of deep model complexity and resulting SISR quality. This paper addresses this pain point by proposing a linearly-assembled pixel-adaptive regression network (LAPAR), which casts the direct LR to HR mapping learning into a linear coefficient regression task over a dictionary of multiple predefined filter bases. Such a parametric representation renders our model highly lightweight and easy to optimize while achieving state-of-the-art results on SISR benchmarks. Moreover, based on the same idea, LAPAR is extended to tackle other restoration tasks, e.g., image denoising and JPEG image deblocking, and again, yields strong performance. The code is available at https://github.com/dvlab-research/Simple-SR.

研究动机与目标

• 以低模型复杂度实现高质量的 SISR，提升实际效率。
• 提出一个线性组装、像素自适应的回归框架，其在滤波基字典上回归系数。
• 证明预定义的高斯（Gaussian）和 DoG 滤波器字典在参数量较少的情况下也能产生具竞争力甚至优于的 SR 结果。
• 表明同一框架可以扩展到降噪和 JPEG 去块中，且具有强性能。

提出的方法

• 将低分辨率到高分辨率的映射表示为对预定义基滤波字典的线性系数回归。
• 通过一个轻量级网络（LAPARnet）学习每个像素的空间变化组装系数。
• 将像素自适应滤波器组装为 F_i = Phi_i D，其中 D 是一个固定的 L 个滤波器（k x k）的字典。
• 用 y_hat_i = Phi_i D B_i^T 预测高分辨率像素，其中 B_i 是来自双三次上采样图像的第 i 个像素周围的局部块。
• 在优化中使用 Charbonnier 损失以稳定训练。
• 字典设计使用了 72 个高斯和 DoG 滤波器来捕捉结构和边缘；滤波器被归一化使其和为 1。

实验结果

研究问题

• RQ1 线性组装、像素自适应的回归框架是否能够在参数显著较传统 SR 模型更少的情况下达到最先进水平？
• RQ2 一个简单滤波器（高斯和 DoG）的预定义字典是否足以捕获跨尺度的多样化图像结构？
• RQ3 LAPAR 框架是否可以扩展到降噪和 JPEG 去阻塞等其他恢复任务而不损失性能？

主要发现

• LAPAR-A 在多项基准测试中在轻量级 SR 方法中实现了最先进的结果，且参数和乘加运算更少。
• 72 滤波器的高斯/DoG 字典在 Set5/B100 尺度的 PSNR 上超过了较小字典以及随机或基于 RAISR 的滤波器。
• LAPAR 在 x2、x3、x4 尺度保持了有竞争力的 SR 性能，同时显著降低模型规模（例如 x4 的 LAPAR-A 约 0.66M 参数）。
• LAPAR 变体提供快速推理（例如在 RTX 2080Ti 上对 1280x720 的 x4 为 22.2–37.3 ms）。
• 该方法有效扩展到图像降噪和 JPEG 去块，保留颜色和结构，在标准集合上的 PSNR/SSIM 超过一些基线。