[论文解读] Joint Sub-bands Learning with Clique Structures for Wavelet Domain Super-Resolution

Zhisheng Zhong, Tiancheng Shen+3 more|arXiv (Cornell University)|Sep 12, 2018

Advanced Image Processing Techniques被引用 35

一句话总结

本文提出超分辨率CliqueNet（SRCliqueNet），一种在小波域中进行深度学习的框架，通过使用基于团结构的上采样模块联合学习高频子带系数，以提升单图像超分辨率中的纹理细节恢复效果。通过在四个小波子带之间实现边缘感知的特征传播，并采用res-clique模块进行特征提取，SRCliqueNet在基准数据集上实现了最先进的PSNR和SSIM性能，尤其在保留精细纹理和锐利边缘方面表现优异。

ABSTRACT

Convolutional neural networks (CNNs) have recently achieved great success in single-image super-resolution (SISR). However, these methods tend to produce over-smoothed outputs and miss some textural details. To solve these problems, we propose the Super-Resolution CliqueNet (SRCliqueNet) to reconstruct the high resolution (HR) image with better textural details in the wavelet domain. The proposed SRCliqueNet firstly extracts a set of feature maps from the low resolution (LR) image by the clique blocks group. Then we send the set of feature maps to the clique up-sampling module to reconstruct the HR image. The clique up-sampling module consists of four sub-nets which predict the high resolution wavelet coefficients of four sub-bands. Since we consider the edge feature properties of four sub-bands, the four sub-nets are connected to the others so that they can learn the coefficients of four sub-bands jointly. Finally we apply inverse discrete wavelet transform (IDWT) to the output of four sub-nets at the end of the clique up-sampling module to increase the resolution and reconstruct the HR image. Extensive quantitative and qualitative experiments on benchmark datasets show that our method achieves superior performance over the state-of-the-art methods.

研究动机与目标

• 为解决基于CNN的超分辨率方法中常见的过度平滑和纹理细节丢失问题。
• 通过在变换域中建模小波子带之间的相互依赖关系，提升高频细节的重建效果。
• 设计一种新型上采样模块，利用基于团的特征聚合方法，联合预测并重构四个小波子带系数。
• 集成res-clique模块以增强特征提取能力，并实现最大化信息流。
• 通过广泛的定量与定性评估，验证联合子带学习与小波域优化的有效性。

提出的方法

• 该方法采用res-clique模块作为特征提取模块，其中所有层以团结构连接，以最大化信息流与特征传播。
• 引入一种基于团结构的上采样模块，由四个子网络组成，联合预测四个子带（LL、LH、HL、HH）的高分辨率小波系数。
• 通过跳跃连接将四个子网络相互连接，以利用子带之间的边缘特征相关性，实现高频分量的联合优化。
• 在子带系数预测完成后，应用逆离散小波变换（IDWT）从预测系数中重构最终的高分辨率图像。
• 网络采用感知损失与L1损失联合训练，以保持纹理和结构保真度。
• 应用自集成策略进一步提升性能，形成SRCliqueNet+变体。

实验结果

研究问题

• RQ1 联合学习小波子带系数是否能提升单图像超分辨率中的纹理细节恢复效果？
• RQ2 一种建模子带间关系的团结构上采样模块，是否在小波域超分辨率中优于传统的上采样方法？
• RQ3 与标准残差块或密集块相比，res-clique模块是否能增强超分辨率网络中的特征表示与信息流？
• RQ4 在PSNR、SSIM和视觉质量方面，小波域优化与像素域优化相比表现如何？
• RQ5 所提出方法在不同放大倍数和基准数据集上的泛化能力如何？

主要发现

• 在2×放大倍数下，SRCliqueNet在Set5数据集上达到38.23 dB的PSNR和0.963的SSIM，优于所有当前最先进方法。
• 在4×放大倍数下，SRCliqueNet在Set14数据集上达到32.61 dB的PSNR和0.903的SSIM，优于EDSR和D-DBPN，且通过自集成策略进一步提升性能（SRCliqueNet+）。
• 视觉对比显示，SRCliqueNet能更清晰地重建纹理，如标识牌上的文字和斑马条纹，显著减少模糊现象。
• 通过团结构上采样实现的联合子带学习，有效保留了高频内容，所有数据集上的SSIM和PSNR值均更高。
• 消融实验证实，res-clique模块与团结构上采样模块对性能均至关重要，各组件对最终结果均有显著贡献。
• SRCliqueNet+在4×放大倍数下于Set14数据集上达到32.67 dB的PSNR和0.903的SSIM，证明了自集成策略在提升性能方面的有效性。