[论文解读] A heterogeneous group CNN for image super-resolution

Chunwei Tian, Yanning Zhang+4 more|arXiv (Cornell University)|Sep 26, 2022

Image Processing Techniques and Applications被引用 4

一句话总结

该论文提出了一种异质组卷积神经网络（HGSRCNN），用于单图像超分辨率（SISR），通过并行的异质模块结合对称与互补卷积单元，增强低频结构信息。该方法集成了多级增强机制与精炼模块，以抑制冗余特征并保留原始细节，在基准数据集上实现了最先进性能，且推理速度具有竞争力。

ABSTRACT

Convolutional neural networks (CNNs) have obtained remarkable performance via deep architectures. However, these CNNs often achieve poor robustness for image super-resolution (SR) under complex scenes. In this paper, we present a heterogeneous group SR CNN (HGSRCNN) via leveraging structure information of different types to obtain a high-quality image. Specifically, each heterogeneous group block (HGB) of HGSRCNN uses a heterogeneous architecture containing a symmetric group convolutional block and a complementary convolutional block in a parallel way to enhance internal and external relations of different channels for facilitating richer low-frequency structure information of different types. To prevent appearance of obtained redundant features, a refinement block with signal enhancements in a serial way is designed to filter useless information. To prevent loss of original information, a multi-level enhancement mechanism guides a CNN to achieve a symmetric architecture for promoting expressive ability of HGSRCNN. Besides, a parallel up-sampling mechanism is developed to train a blind SR model. Extensive experiments illustrate that the proposed HGSRCNN has obtained excellent SR performance in terms of both quantitative and qualitative analysis. Codes can be accessed at https://github.com/hellloxiaotian/HGSRCNN.

研究动机与目标

• 为解决现有深度CNN在复杂场景超分辨率中鲁棒性差的问题。
• 通过建模内部与外部通道关系，增强低频结构信息。
• 通过具有信号增强的串行精炼模块，减少冗余特征。
• 通过对称的多级增强机制，保留原始图像细节。
• 通过并行上采样机制，实现高效盲超分辨率训练。

提出的方法

• HGSRCNN采用异质组块（HGB），包含两个并行分支：对称组卷积块与互补卷积块，以建模多样的通道交互。
• 应用具有顺序信号增强的精炼模块，以过滤冗余特征并提升特征质量。
• 多级增强机制在各阶段强制采用对称架构，逐步增强结构表征能力与表达能力。
• 设计并行上采样机制，以在无需退化特定监督的情况下训练盲超分辨率模型。
• 使用感知损失与对抗损失进行端到端训练，以提升视觉保真度。
• 网络架构针对推理效率进行优化，在性能与计算成本之间实现平衡。

实验结果

研究问题

• RQ1 异质CNN架构是否能在复杂场景下提升超分辨率中的低频结构表征能力？
• RQ2 并行结合对称与互补卷积单元如何增强SISR的特征学习能力？
• RQ3 串行精炼模块在不损失原始图像细节的前提下，能在多大程度上减少特征冗余？
• RQ4 具有对称设计的多级增强机制是否能提升特征表达能力与模型鲁棒性？
• RQ5 所提出的并行上采样机制如何影响盲超分辨率模型的性能与效率？

主要发现

• 在×4缩放下，HGSRCNN在DIV80数据集上达到27.60 dB的PSNR与0.7363的SSIM，优于RDN、CSFM与SRFBN。
• 在B100数据集上，HGSRCNN在×4缩放下达到0.9785的FSIM分数，超过CFSRCNN与ACNet。
• 对于1024×1024图像在×2缩放下，HGSRCNN推理时间为0.0418秒，仅占SRFBN推理时间的4.27%。
• 模型参数量（2.178M）与FLOPs（15.05G）显著低于RDN（21.937M参数，144.69G FLOPs）。
• 视觉对比显示，与VDSR、DRCN、CARN-M、LESRCNN、CFSRCNN和ACNet相比，HGSRCNN在放大区域产生更锐利的纹理与更清晰的边缘。
• 多级增强机制实现了对称特征学习，提升了跨尺度的结构一致性与视觉质量。