[论文解读] Hybrid Pixel-Unshuffled Network for Lightweight Image Super-Resolution

Bin Sun, Yulun Zhang+2 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Image Processing Techniques被引用 6

一句话总结

该论文提出了一种轻量级混合像素未打乱网络（HPUN），用于单图像超分辨率（SISR），通过结合像素未打乱下采样与自注意力残差深度可分离卷积，增强特征表示能力，同时最小化计算量和参数量。HPUN在参数量和FLOPs均少于先前方法的情况下，实现了最先进性能，在基准数据集上的表现甚至超越了自集成模型。

ABSTRACT

Convolutional neural network (CNN) has achieved great success on image super-resolution (SR). However, most deep CNN-based SR models take massive computations to obtain high performance. Downsampling features for multi-resolution fusion is an efficient and effective way to improve the performance of visual recognition. Still, it is counter-intuitive in the SR task, which needs to project a low-resolution input to high-resolution. In this paper, we propose a novel Hybrid Pixel-Unshuffled Network (HPUN) by introducing an efficient and effective downsampling module into the SR task. The network contains pixel-unshuffled downsampling and Self-Residual Depthwise Separable Convolutions. Specifically, we utilize pixel-unshuffle operation to downsample the input features and use grouped convolution to reduce the channels. Besides, we enhance the depthwise convolution's performance by adding the input feature to its output. Experiments on benchmark datasets show that our HPUN achieves and surpasses the state-of-the-art reconstruction performance with fewer parameters and computation costs.

研究动机与目标

• 解决基于深度卷积神经网络的超分辨率模型中计算成本过高的挑战。
• 通过引入残差增强机制，克服深度可分离卷积在SISR中性能下降的问题。
• 探索在SISR中使用下采样操作的可行性，尽管传统上认为其会导致信息丢失而显得不合直觉。
• 设计一种轻量级架构，在保持高重建质量的同时，参数量和FLOPs均最小化。
• 研究特征相似性（NME）与模型性能之间的关系，以指导高效网络架构的设计。

提出的方法

• 提出一种自注意力残差深度可分离卷积（SR-DSC），将输入特征直接加到深度可分离卷积的输出上，从而在不增加参数量的前提下提升表征能力。
• 提出一种基于像素未打乱操作、最大池化和分组卷积的像素未打乱下采样器，以提取低频表示，同时最小化信息损失。
• 设计一种像素未打乱模块（PUB），结合所提出的下采样器与SR-DSC，实现在计算成本降低的同时有效学习特征。
• 通过将PUB中的一个SR-DSC层替换为标准卷积，构建混合像素未打乱网络（HPUN），以改善特征通信与性能。
• 采用双线性（BI）退化模型进行数据模拟，并在Set5、Set14、B100、Urban100和Manga109等标准基准数据集上进行评估。
• 在推理阶段应用自集成策略，以进一步提升性能，而无需在训练过程中增加模型复杂度。

实验结果

研究问题

• RQ1 尽管存在信息丢失的固有风险，下采样操作是否能在超分辨率任务中被有效使用？
• RQ2 如何在不增加参数量的前提下，增强SISR中深度可分离卷积的性能，以缓解其性能下降问题？
• RQ3 在轻量级SISR网络中，特征相似性（以NME衡量）与模型性能之间的最优平衡点是什么？
• RQ4 结合标准卷积与残差深度可分离卷积的混合架构，是否能以极低的计算成本实现更优性能？
• RQ5 通过像素未打乱下采样整合低频表示，是否能提升SISR中的重建质量？

主要发现

• HPUN-L在所有基准数据集的×4缩放下均实现了最先进PSNR表现，甚至超越了LatticeNet-CL+等自集成模型。
• 在使用自集成后，HPUN-L的平均PSNR比LatticeNet-CL+高出0.11 dB，且参数量和FLOPs均更少。
• HPUN-S在参数量仅为SRFBN-S的64.4%、CARN的4.2%的情况下，性能相当，且FLOPs仅为其1.4%和13.9%。
• 当浅层与深层特征之间的NME（特征相似性）提升至约0.007的阈值后，网络性能开始下降，表明存在一个最优NME值。
• 增加更多的像素未打乱下采样器或残差连接可使NME趋近于该最优值，提示了一种高效网络架构的设计原则。
• 在Urban100和Manga109上的视觉结果表明，HPUN-L产生的伪影更少，纹理更清晰，尤其在Manga109的复杂纹理区域表现更优。