[论文解读] SREdgeNet: Edge Enhanced Single Image Super Resolution using Dense Edge Detection Network and Feature Merge Network

Kwan-Young Kim, Se Young Chun|arXiv (Cornell University)|Dec 18, 2018

Advanced Image Processing Techniques参考文献 27被引用 12

一句话总结

SREdgeNet 提出了一种新颖的单图像超分辨率框架，通过将密集边缘检测网络（DenseEdgeNet）和特征融合网络（MergeNet）与预训练的 EDSR 基础超分辨率主干网络相结合，增强了边缘细节。通过利用边缘先验在标准 L1 损失下引导重建，该方法在保持竞争力 PSNR 的同时实现了最先进（SOTA）的结构相似性（SSIM），尤其在 ×8 放大时表现优异，显著提升了感知质量，且未牺牲定量指标。

ABSTRACT

Deep learning based single image super-resolution (SR) methods have been rapidly evolved over the past few years and have yielded state-of-the-art performances over conventional methods. Since these methods usually minimized l1 loss between the output SR image and the ground truth image, they yielded very high peak signal-to-noise ratio (PSNR) that is inversely proportional to these losses. Unfortunately, minimizing these losses inevitably lead to blurred edges due to averaging of plausible solutions. Recently, SRGAN was proposed to avoid this average effect by minimizing perceptual losses instead of l1 loss and it yielded perceptually better SR images (or images with sharp edges) at the price of lowering PSNR. In this paper, we propose SREdgeNet, edge enhanced single image SR network, that was inspired by conventional SR theories so that average effect could be avoided not by changing the loss, but by changing the SR network property with the same l1 loss. Our SREdgeNet consists of 3 sequential deep neural network modules: the first module is any state-of-the-art SR network and we selected a variant of EDSR. The second module is any edge detection network taking the output of the first SR module as an input and we propose DenseEdgeNet for this module. Lastly, the third module is merging the outputs of the first and second modules to yield edge enhanced SR image and we propose MergeNet for this module. Qualitatively, our proposed method yielded images with sharp edges compared to other state-of-the-art SR methods. Quantitatively, our SREdgeNet yielded state-of-the-art performance in terms of structural similarity (SSIM) while maintained comparable PSNR for x8 enlargement.

研究动机与目标

• 为解决基于深度学习的超分辨率方法中因最小化 L1/L2 损失而导致的固有模糊问题，该问题会平均化合理的高频解。
• 在不依赖感知损失或对抗性训练的前提下，提升感知质量，尤其是边缘锐度。
• 在保持高定量性能（PSNR）的同时显著提升结构相似性（SSIM），尤其在大尺度超分辨率（×8）场景下。
• 开发一种模块化框架，将超分辨率、边缘检测与特征融合整合到统一的流水线中。

提出的方法

• 该方法采用三模块流水线：(1) 改进的 EDSR 变体（EDSR*），通过金字塔池化提升多尺度特征提取能力。
• 第二模块 DenseEdgeNet 采用密集残差块，结合多复杂度特征提取与密集跳跃连接，从超分辨率输出中生成高质量边缘图。
• 第三模块 MergeNet 使用残差学习与边缘跳跃连接，融合超分辨率输出与边缘图，以保留并增强结构细节。
• 网络通过在最终输出与真实值之间使用标准 L1 损失进行端到端训练，避免使用感知损失或对抗性损失。
• DenseEdgeNet 采用多复杂度策略，在不同尺度上提取丰富的边缘特征，提升边缘定位与完整性。
• MergeNet 整合来自超分辨率分支与边缘分支的浅层和深层特征，实现纹理与边缘信息的有效融合。

实验结果

研究问题

• RQ1 在标准 L1 损失下，边缘先验是否能有效用于引导超分辨率重建以减少模糊？
• RQ2 集成专用边缘检测网络是否能在不降低 PSNR 的前提下提升结构相似性（SSIM）？
• RQ3 与最先进方法相比，该方法在大尺度超分辨率（如 ×8）下的表现如何？
• RQ4 结合超分辨率、边缘检测与特征融合的模块化三阶段架构，是否能在感知质量上超越端到端模型？

主要发现

• 在 Urban100 数据集的 ×8 超分辨率任务中，SREdgeNet 达到了最高的 SSIM 得分 0.626，优于所有对比方法。
• 在同一数据集上，SREdgeNet 的 PSNR 为 27.25 dB，位列第二，仅比表现最佳的 D-DBPN 低 0.7 dB，但在 SSIM 上显著领先。
• 在 BSD100 数据集的 ×4 超分辨率任务中，SREdgeNet 的 SSIM 达到 0.791，位列所有方法中的第三名，与最佳模型仅相差 0.008。
• 视觉对比显示，与 EDSR 和 D-DBPN 相比，SREdgeNet 生成了更锐利的边缘，并更好地保留了复杂纹理与重复结构中的图案。
• 该方法在大尺度超分辨率（×8）中表现出色，边缘引导的优势在像素级合理解数量极高的情况下尤为显著。
• SREdgeNet 在速度与性能之间实现了良好的权衡，推理速度快（如图 2 所示），适用于实际应用场景。