[论文解读] Component Divide-and-Conquer for Real-World Image Super-Resolution

Pengxu Wei, Ziwei Xie+5 more|arXiv (Cornell University)|Aug 5, 2020

Advanced Image Processing Techniques参考文献 33被引用 9

一句话总结

本文提出 DRealSR，一个大规模真实世界图像超分数据集，涵盖多种退化过程，并提出一种组件分割-征服（CDC）网络，将图像分解为平面、边缘和角落组件，以指导特定任务学习。通过使用中间监督的组件感知模块和梯度加权损失，CDC 在真实世界基准上实现最先进性能，尤其在 ×4 超分任务中将 PSNR 提升 0.4 dB。

ABSTRACT

In this paper, we present a large-scale Diverse Real-world image Super-Resolution dataset, i.e., DRealSR, as well as a divide-and-conquer Super-Resolution (SR) network, exploring the utility of guiding SR model with low-level image components. DRealSR establishes a new SR benchmark with diverse real-world degradation processes, mitigating the limitations of conventional simulated image degradation. In general, the targets of SR vary with image regions with different low-level image components, e.g., smoothness preserving for flat regions, sharpening for edges, and detail enhancing for textures. Learning an SR model with conventional pixel-wise loss usually is easily dominated by flat regions and edges, and fails to infer realistic details of complex textures. We propose a Component Divide-and-Conquer (CDC) model and a Gradient-Weighted (GW) loss for SR. Our CDC parses an image with three components, employs three Component-Attentive Blocks (CABs) to learn attentive masks and intermediate SR predictions with an intermediate supervision learning strategy, and trains an SR model following a divide-and-conquer learning principle. Our GW loss also provides a feasible way to balance the difficulties of image components for SR. Extensive experiments validate the superior performance of our CDC and the challenging aspects of our DRealSR dataset related to diverse real-world scenarios. Our dataset and codes are publicly available at https://github.com/xiezw5/Component-Divide-and-Conquer-for-Real-World-Image-Super-Resolution

研究动机与目标

• 通过构建真实基准，解决超分任务中模拟与真实世界退化之间的域差距。
• 克服同质像素级损失的局限性，后者倾向于偏好平坦区域和边缘等易重建区域。
• 通过基于低层次图像组件的区域特定超分目标建模，提升复杂纹理的重建效果。
• 开发一种自适应关注并重建难恢复组件（如角落与细纹理）的学习框架。
• 在多样化的真实世界退化场景下，验证所提方法的泛化性与鲁棒性。

提出的方法

• 提出 DRealSR，一个大规模真实世界图像超分数据集，涵盖来自多种设备的多样化退化过程，捕捉超越模拟双三次下采样的真实图像退化。
• 设计一种组件分割-征服（CDC）框架，将图像分解为三种低层次组件：平面区域、边缘与角落，灵感源自 Harris 角点检测。
• 实现三个组件感知模块（CABs），每个模块专用于一种组件，通过中间监督学习注意力掩码与中间超分预测。
• 引入梯度加权（GW）损失，根据组件的重建难度重新加权重建损失，优先关注如角落等困难区域。
• 构建基于堆叠沙漏结构的主干网络（HGSR），以提取多尺度特征，并通过分层特征学习支持 CDC 架构。
• 采用分割-征服学习策略进行模型训练，各组件分别处理并配备专用注意力机制，从而提升整体重建保真度。

实验结果

研究问题

• RQ1 真实世界图像退化与模拟退化有何不同？这对现有超分模型提出了哪些挑战？
• RQ2 将图像组件（平面、边缘、角落）作为独立实体建模，能否提升真实世界图像的超分性能？
• RQ3 基于注意力掩码与中间监督的组件特定学习策略，是否能比传统像素级损失实现更好的细节恢复？
• RQ4 一种考虑重建难度的梯度加权损失，在多类退化类型中在多大程度上提升了模型的泛化能力？
• RQ5 当在具有复杂退化的现实世界数据集上进行训练与测试时，所提出的 CDC 模型与最先进方法相比表现如何？

主要发现

• DRealSR 数据集显著比现有基准更具挑战性，基于 RealSR 训练的模型在 DRealSR 上测试时性能出现显著下降，尤其在 ×4 缩放下。
• 所提出的 CDC 模型在真实退化条件下于 DRealSR 上实现 32.54 dB 的 PSNR，相较于所有最先进方法在 ×4 超分任务中最高提升 0.4 dB。
• 梯度加权损失有效平衡了各组件的学习，使此前重建不足的角落区域细节保真度显著提升，优于标准 L1 损失。
• 跨数据集测试表明，基于模拟双三次下采样退化的模型无法泛化至真实世界退化，而基于 DRealSR 训练的 CDC 模型仍保持强劲性能。
• 视觉对比显示，CDC 生成的纹理更清晰自然，避免了 EDSR、RCAN 和 LP-KPN 中常见的伪影与模糊。
• 即使在双三次下采样 DRealSR 图像上进行训练，CDC 的性能仍优于在相同数据上训练的最先进模型，证明了其鲁棒性与泛化能力。