[论文解读] KOALAnet: Blind Super-Resolution using Kernel-Oriented Adaptive Local Adjustment

Soo Ye Kim, Hyeonjun Sim+1 more|arXiv (Cornell University)|Dec 15, 2020

Advanced Image Processing Techniques参考文献 30被引用 6

一句话总结

KOALAnet 是一种新颖的盲超分辨率框架，通过基于核的自适应局部调节（KOALA）模块，联合学习空间可变退化与恢复核。通过预测特定位置的模糊核，并利用学习到的滤波器进行自适应特征调制，该方法在合成及真实世界低分辨率图像上实现了最先进性能，有效保留摄影师意图，避免对离焦区域过度锐化。

ABSTRACT

Blind super-resolution (SR) methods aim to generate a high quality high resolution image from a low resolution image containing unknown degradations. However, natural images contain various types and amounts of blur: some may be due to the inherent degradation characteristics of the camera, but some may even be intentional, for aesthetic purposes (e.g. Bokeh effect). In the case of the latter, it becomes highly difficult for SR methods to disentangle the blur to remove, and that to leave as is. In this paper, we propose a novel blind SR framework based on kernel-oriented adaptive local adjustment (KOALA) of SR features, called KOALAnet, which jointly learns spatially-variant degradation and restoration kernels in order to adapt to the spatially-variant blur characteristics in real images. Our KOALAnet outperforms recent blind SR methods for synthesized LR images obtained with randomized degradations, and we further show that the proposed KOALAnet produces the most natural results for artistic photographs with intentional blur, which are not over-sharpened, by effectively handling images mixed with in-focus and out-of-focus areas.

研究动机与目标

• 解决真实图像中具有空间可变模糊的盲超分辨率挑战，特别是来自景深效果的有意模糊。
• 通过联合学习退化与恢复核，提升对双三次下采样之外退化模式的泛化能力。
• 通过避免对艺术照片中离焦区域的过度锐化，保留摄影师创作意图。
• 开发一种灵活可扩展的模块（KOALA），可集成至任意卷积神经网络中，实现图像恢复任务中的自适应特征调节。

提出的方法

• 该框架包含一个下采样网络，用于从低分辨率输入中估计空间可变模糊核。
• KOALA 模块利用预测的退化核，生成特定位置的乘法参数（m）和局部滤波器参数（k），用于特征调制。
• 上采样网络使用学习到的 k 参数执行空间可变滤波，基于退化特性调整早期阶段的特征。
• 模型在随机各向异性高斯退化下端到端训练，具备对多种模糊类型的鲁棒性。
• KOALA 模块设计为可扩展且兼容多种卷积神经网络架构，适用于图像恢复任务。
• 通过预测与真实模糊核之间的 $l_2$ 损失优化核估计，提升退化建模的准确性。

实验结果

研究问题

• RQ1 深度学习框架能否有效解耦并恢复具有空间可变模糊的图像，包括来自景深效果的有意模糊？
• RQ2 联合学习退化与恢复核在未见的真实世界退化模式下如何提升性能？
• RQ3 KOALAnet 在不造成过度锐化的前提下，能在多大程度上保留离焦区域的原始模糊特性？
• RQ4 所提出的 KOALA 模块在不同网络架构与退化类型下的盲超分辨率任务中是否具备泛化能力？

主要发现

• 在 DIV2K-val 数据集上，KOALAnet 在 $\times 4$ 超分辨率任务中达到 49.50 的 PSNR 和 0.9980 的 SSIM，优于最先进方法。
• 在 DIV2K-val 和 DIV2KRK 上，模型将退化核估计的平均 $l_2$ 误差分别降低至 0.0010 和 0.0044，显著优于 KernelGAN 和 BlindSR。
• 在包含聚焦与非聚焦区域混合的图像上，KOALAnet 有效保留了模糊特性，避免了背景区域的过度锐化。
• 消融实验表明，若移除残差连接或使用均匀核，PSNR 下降 4.72 dB，证明了空间可变建模的必要性。
• 可视化结果表明，KOALA 模块学习到了方向感知滤波器，能根据局部模糊模式自适应调节特征。
• 模型在未知退化条件的历史图像上表现出强泛化能力，保持了高感知质量与保真度。