[论文解读] Exploring Frequency-Inspired Optimization in Transformer for Efficient Single Image Super-Resolution

Ao Li, Le Zhang+2 more|arXiv (Cornell University)|Aug 9, 2023

Advanced Image Processing TechniquesComputer Science被引用 3

一句话总结

该论文提出CRAFT，一种针对单图像超分的频率感知Transformer架构，通过专用残差模块（HFERB）增强高频细节，同时利用移位矩形窗口注意力模块（SRWAB）捕捉全局上下文。混合融合模块（HFB）通过交叉注意力机制，利用高频先验信息优化全局特征，实现SOTA性能，PSNR提升0.29 dB，参数量较SOTA方法减少15%。

ABSTRACT

Transformer-based methods have exhibited remarkable potential in single image super-resolution (SISR) by effectively extracting long-range dependencies. However, most of the current research in this area has prioritized the design of transformer blocks to capture global information, while overlooking the importance of incorporating high-frequency priors, which we believe could be beneficial. In our study, we conducted a series of experiments and found that transformer structures are more adept at capturing low-frequency information, but have limited capacity in constructing high-frequency representations when compared to their convolutional counterparts. Our proposed solution, the cross-refinement adaptive feature modulation transformer (CRAFT), integrates the strengths of both convolutional and transformer structures. It comprises three key components: the high-frequency enhancement residual block (HFERB) for extracting high-frequency information, the shift rectangle window attention block (SRWAB) for capturing global information, and the hybrid fusion block (HFB) for refining the global representation. To tackle the inherent intricacies of transformer structures, we introduce a frequency-guided post-training quantization (PTQ) method aimed at enhancing CRAFT's efficiency. These strategies incorporate adaptive dual clipping and boundary refinement. To further amplify the versatility of our proposed approach, we extend our PTQ strategy to function as a general quantization method for transformer-based SISR techniques. Our experimental findings showcase CRAFT's superiority over current state-of-the-art methods, both in full-precision and quantization scenarios. These results underscore the efficacy and universality of our PTQ strategy. The source code is available at: https://github.com/AVC2-UESTC/Frequency-Inspired-Optimization-for-EfficientSR.git.

研究动机与目标

• 探究频率分量（尤其是高频细节）在CNN与Transformer用于单图像超分（SISR）任务中的作用。
• 解决Transformer在重建高频细节方面的局限性，而高频细节对SISR的感知质量与清晰度至关重要。
• 设计一种混合架构，协同结合CNN在高频表征方面的优势与Transformer在长程依赖建模方面的能力。
• 开发一种有效融合机制，利用高频特征作为先验，优化全局表征，从而提升重建精度。
• 在降低模型复杂度与推理成本的前提下，实现SOTA性能。

提出的方法

• 所提出的CRAFT框架采用并行双分支架构：一个分支使用高频增强残差模块（HFERB）从低分辨率输入中提取并增强高频细节。
• 另一分支采用移位矩形窗口注意力模块（SRWAB），通过带移位窗口的改进窗口注意力机制，捕捉长程依赖与全局表征。
• 混合融合模块（HFB）在SRWAB输出（作为查询）与HFERB输出（作为键和值）之间执行交叉注意力，使全局特征能借助高频先验进行优化。
• HFB通过通道注意力机制降低计算成本，同时有效整合多频段特征。
• 网络采用L1损失与感知损失的组合进行端到端训练，辅以数据增强与学习率调度以提升稳定性。
• 模型在DIV2K、Real-ESRGAN与Manga109等多个基准上进行评估，并开展关于融合策略、频率先验与模块贡献的消融研究。

实验结果

研究问题

• RQ1 CNN与Transformer在捕捉与重建单图像超分中高频分量方面的能力有何差异？
• RQ2 与基于CNN的模型相比，Transformer-based SISR模型因缺乏高频信息而导致性能下降的程度如何？
• RQ3 高频特征能否作为有效先验，用于优化基于Transformer的SISR架构中的全局表征？
• RQ4 在混合CNN-Transformer架构中，结合高频与全局特征的最佳融合策略是什么？
• RQ5 能否设计出一种轻量化、高效架构，在参数量与FLOPs更少的情况下，仍优于现有SOTA方法？

主要发现

• 在DIV2K数据集上，CRAFT相较SOTA方法实现最高0.29 dB的PSNR增益，证明其性能优越。
• 消融研究显示，若在HFB中互换查询与键/值输入，PSNR将下降0.51 dB，证实以全局特征为查询、高频特征为键/值的重要性。
• CRAFT的级联结构变体相比原始设计导致PSNR下降0.3 dB，证明并行、基于注意力的融合优于串行处理。
• CRAFT显著降低模型复杂度：参数量仅753K（对比SwinIR的897K），FLOPs为26.1 GFLOPs（对比32.2 GFLOPs），GPU显存占用79.5 MB（对比141.2 MB），推理时间缩短至42.8 ms。
• 与拼接融合策略相比，HFB模块使性能提升0.26 dB，证实注意力机制在特征交互方面优于简单堆叠。
• HFERB分支在高频细节恢复中起关键作用，表现为移除或修改该分支后性能显著下降，尤其在纹理丰富与边缘敏感区域更为明显。