[论文解读] Difficulty-aware Image Super Resolution via Deep Adaptive Dual-Network

Jinghui Qin, Ziwei Xie+2 more|arXiv (Cornell University)|Apr 11, 2019

Advanced Image Processing Techniques参考文献 18被引用 4

一句话总结

该论文提出了一种基于深度自适应双分支网络框架的难度感知图像超分方法，通过两个专用分支分别处理图像中的简单区域与困难区域：一个普通分支（PB）用于平滑区域，一个复杂分支（CB）用于纹理区域。通过利用基于PSNR的难度识别网络生成自适应区域掩码，该模型在标准基准测试中实现了最先进性能，在×2缩放下于Urban100数据集上相比先前方法PSNR最高提升0.50 dB。

ABSTRACT

Recently, deep learning based single image super-resolution(SR) approaches have achieved great development. The state-of-the-art SR methods usually adopt a feed-forward pipeline to establish a non-linear mapping between low-res(LR) and high-res(HR) images. However, due to treating all image regions equally without considering the difficulty diversity, these approaches meet an upper bound for optimization. To address this issue, we propose a novel SR approach that discriminately processes each image region within an image by its difficulty. Specifically, we propose a dual-way SR network that one way is trained to focus on easy image regions and another is trained to handle hard image regions. To identify whether a region is easy or hard, we propose a novel image difficulty recognition network based on PSNR prior. Our SR approach that uses the region mask to adaptively enforce the dual-way SR network yields superior results. Extensive experiments on several standard benchmarks (e.g., Set5, Set14, BSD100, and Urban100) show that our approach achieves state-of-the-art performance.

研究动机与目标

• 解决现有单模型超分网络对所有图像区域一视同仁的局限性，尽管其重建难度存在差异。
• 识别并基于图像区域的内在超分难度进行分类，以实现针对性处理。
• 设计一种双分支网络架构，其中一个分支专用于简单（平滑）区域，另一个专用于困难（复杂）区域。
• 通过学习得到的掩码自适应地将区域路由至最合适的分支，从而提升整体超分性能。
• 证明基于区域的难度感知处理相比统一模型可实现更优的重建质量。

提出的方法

• 引入一个难度标识模块（DIM），利用双三次插值的PSNR先验，将图像块分类为简单或困难。
• 在双路超分网络中分别训练普通分支（PB）和复杂分支（CB）：PB优化于平滑/简单区域，CB优化于纹理/困难区域。
• 使用掩码生成器生成空间掩码，根据区域难度将每个图像块分配至最合适的分支。
• 在推理阶段应用自适应掩码，将每个区域路由至对应分支，实现选择性、最优处理。
• 采用联合损失函数（结合重建损失与感知损失）端到端训练整个框架。
• 利用双三次插值低分辨率图像块与高分辨率对应块之间的PSNR值作为难度的代理指标，实现弱监督下的难度估计。

Fig. 1 : Qualitative comparison with EDSR and SRCNN. EDSR reconstructs more clearly on the complex/hard region than SRCNN, but it reconstructs worse on the smooth/plain region than SRCNN. This reveals that it is suboptimal to incorporate a single model to process all regions.

实验结果

研究问题

• RQ1 将图像超分建模为难度感知、区域特定的任务，是否能超越统一处理方式，进一步提升重建质量？
• RQ2 基于PSNR的先验在识别超分中困难与简单图像区域方面有多有效？
• RQ3 在每个分支专精于一类难度的双分支网络架构中，是否优于单一统一模型？
• RQ4 将图像区域自适应地路由至专用分支，是否能显著提升标准基准测试中的PSNR与SSIM得分？
• RQ5 对PB与CB分别进行训练，对包含混合难度的多样化图像数据集的性能有何影响？

主要发现

• 所提方法在PSNR性能上达到最先进水平，在×2缩放下于Urban100上相比先前方法最高提升0.50 dB。
• 在Set14上，该模型在×2缩放下相比基线模型EDSR实现0.46 dB的PSNR增益，表明性能持续提升。
• 双分支自适应方法（PB + CB）优于任一分支单独表现，在×4缩放下于Urban100上相比MemNet分别实现0.30 dB与0.36 dB的PSNR提升。
• 在困难图像块上，复杂分支（CB）的PSNR显著高于普通分支（PB）（例如×2缩放下达33.06 dB），证实其专精性。
• 在简单图像块上，普通分支（PB）表现更优（例如×2缩放下达53.95 dB），表明其在平滑区域中的优势。
• 尽管难度模块带来额外计算开销，但整体模型在推理速度与参数效率方面仍保持竞争力，优于IDN与LapSRN等最先进方法。

Fig. 2 : Overview of our dual-way SR framework. Our framework consists of three key components: difficulty identifier module(DIM), mask generator and a dual-way SR network. Our dual-way SR network consists of two branches: a complex branch(CB) and a plain branch(PB). The CB is used to restore comple