[论文解读] GhostSR: Learning Ghost Features for Efficient Image Super-Resolution

Ying Nie, Kai Han+3 more|arXiv (Cornell University)|Jan 21, 2021

Advanced Image Processing Techniques参考文献 53被引用 21

一句话总结

GhostSR 提出了一种轻量级图像超分方法，通过可学习的移位操作替代冗余的卷积滤波器以生成“鬼影特征”，显著降低模型复杂度。通过聚类预训练特征以识别内在滤波器，并应用可微分的移位操作，GhostSR 在基准数据集上实现与基线 EDSR 几乎无损的性能，同时将参数量减少 46%，FLOPs 减少 46%，GPU 延迟降低 42%。

ABSTRACT

Modern single image super-resolution (SISR) system based on convolutional neural networks (CNNs) achieves fancy performance while requires huge computational costs. The problem on feature redundancy is well studied in visual recognition task, but rarely discussed in SISR. Based on the observation that many features in SISR models are also similar to each other, we propose to use shift operation to generate the redundant features (i.e., ghost features). Compared with depth-wise convolution which is time-consuming on GPU-like devices, shift operation can bring a practical inference acceleration for CNNs on common hardwares. We analyze the benefits of shift operation on SISR task and make the shift orientation learnable based on Gumbel-Softmax trick. Besides, a clustering procedure is explored based on pre-trained models to identify the intrinsic filters for generating intrinsic features. The ghost features will be derived by moving these intrinsic features along a specific orientation. Finally, the complete output features are constructed by concatenating the intrinsic and ghost features together. Extensive experiments on several benchmark models and datasets demonstrate that both the non-compact and lightweight SISR models embedded with the proposed method can achieve a comparable performance to that of their baselines with a large reduction of parameters, FLOPs and GPU inference latency. For instance, we reduce the parameters by 46%, FLOPs by 46% and GPU inference latency by 42% of $ imes2$ EDSR network with basically lossless performance.

研究动机与目标

• 为解决现代 SISR 模型因冗余特征导致的高计算成本问题。
• 探索超分网络中的特征冗余性，类似于其在分类任务中的应用。
• 用更高效、硬件友好的操作替代昂贵的深度可分离卷积，实现在 GPU 和 NPU 上的实际推理加速。
• 开发一种可学习、可微分的移位机制，以自适应调整方向，提升特征表示能力。
• 通过聚类预训练模型识别内在滤波器，实现高效鬼影特征生成。

提出的方法

• 引入可学习的移位操作，作为生成鬼影特征的廉价替代方案，替代深度可分离卷积。
• 使用 Gumbel-Softmax 技巧使移位方向可微分并可训练。
• 在预训练模型上应用聚类过程，以识别生成基础特征的内在滤波器。
• 通过将内在特征与鬼影特征拼接，构建最终特征；其中鬼影特征通过在内在特征上应用学习到的移位操作生成。
• 采用端到端可微分架构，联合学习内在滤波器与移位操作。
• 优化鬼影特征比例（λ），以在效率与性能之间取得平衡。

实验结果

研究问题

• RQ1 移位操作能否在 SISR 模型中有效替代深度可分离卷积，实现在 GPU 上的实际推理加速？
• RQ2 通过 Gumbel-Softmax 学习移位方向，是否相比固定方向或复制方法能提升特征表示能力？
• RQ3 对预训练模型进行聚类，能否可靠识别出用于鬼影特征生成的内在滤波器？
• RQ4 在 SISR 模型中，鬼影特征的最优比例（λ）是多少，可实现效率与性能的最佳平衡？
• RQ5 GhostSR 在保持竞争性 PSNR/SSIM 分数的同时，能在多大程度上减少参数量、FLOPs 和推理延迟？

主要发现

• 在 ×2 EDSR 模型中，GhostSR 将参数量减少 46%，FLOPs 减少 46%，GPU 推理延迟降低 42%，性能损失可忽略不计。
• 可学习的移位操作在特征质量上优于简单复制操作，可视化结果表明其在纹理和边缘保持方面表现更优。
• 与从零开始训练相比，使用预训练模型聚类可使 Urban100 数据集上的 PSNR 提升 0.13 dB。
• 最优鬼影特征比例（λ = 0.25）在所有数据集中带来 0.04–0.08 dB 的 PSNR 提升，同时减少模型大小与延迟。
• 在 Set5 数据集上，GhostSR 相比基线模型实现 0.04 dB 的 PSNR 提升，参数量为 133 万，FLOPs 为 96G，而原始 CARN 模型为 159 万参数与 119G FLOPs。
• 模型保持了高感知质量，所有数据集的 SSIM 值与基线相差不超过 0.0006。