[论文解读] Multi-Depth Branch Network for Efficient Image Super-Resolution

Huiyuan Tian, Li Zhang+3 more|arXiv (Cornell University)|Sep 29, 2023

Advanced Image Processing TechniquesComputer Science被引用 3

一句话总结

本文提出了一种用于高效图像超分的多深度分支网络（MDBN），采用异构架构，通过不同深度的分支联合捕捉高频与低频细节。多深度分支模块（MDBM）实现了层次化特征学习，在推理速度上比轻量级Transformer快1.2倍至18倍，实现了最先进（SOTA）性能，经特征可视化与新型傅里叶频谱分析验证。

ABSTRACT

A longstanding challenge in Super-Resolution (SR) is how to efficiently enhance high-frequency details in Low-Resolution (LR) images while maintaining semantic coherence. This is particularly crucial in practical applications where SR models are often deployed on low-power devices. To address this issue, we propose an innovative asymmetric SR architecture featuring Multi-Depth Branch Module (MDBM). These MDBMs contain branches of different depths, designed to capture high- and low-frequency information simultaneously and efficiently. The hierarchical structure of MDBM allows the deeper branch to gradually accumulate fine-grained local details under the contextual guidance of the shallower branch. We visualize this process using feature maps, and further demonstrate the rationality and effectiveness of this design using proposed novel Fourier spectral analysis methods. Moreover, our model exhibits more significant spectral differentiation between branches than existing branch networks. This suggests that MDBM reduces feature redundancy and offers a more effective method for integrating high- and low-frequency information. Extensive qualitative and quantitative evaluations on various datasets show that our model can generate structurally consistent and visually realistic HR images. It achieves state-of-the-art (SOTA) results at a very fast inference speed. Our code is available at https://github.com/thy960112/MDBN.

研究动机与目标

• 为解决在低功耗设备上高效增强低分辨率（LR）图像中的高频细节并保持语义一致性的挑战。
• 克服现有基于Transformer的超分模型计算效率低下与参数量过高的问题。
• 通过实现分支间不同的频响特性，减少分支网络中的特征冗余。
• 设计一种轻量化、高效的CNN架构，在准确率与推理速度上均优于现有方法。

提出的方法

• 提出一种多深度分支模块（MDBM），其分支具有不同深度，且全部采用3×3卷积以提升计算效率。
• 采用分层设计，由更深的分支在较浅分支的上下文引导下捕捉细粒度局部细节。
• 提出一种新型傅里叶频谱分析方法，用于量化与可视化不同分支特征图之间的频率差异。
• 通过最小-最大归一化对不同分支的特征图幅值谱进行归一化，以计算频谱差异图。
• 利用频谱差异图（D₁和D₂）度量频率响应的偏离程度，证明了特征冗余的减少。
• 结合特征图可视化与频谱分析，验证了异构分支设计的合理性与有效性。

实验结果

研究问题

• RQ1 异构、多深度分支架构能否有效分离并处理超分中的高频与低频信息？
• RQ2 MDBM中分支之间的频谱差异与现有对称结构或基于卷积核大小的分支网络相比如何？
• RQ3 MDBM的分层结构在多大程度上提升了重建高分辨率图像的细节恢复与语义一致性？
• RQ4 所提出的傅里叶频谱分析方法能否为CNN中特定频率的特征学习提供有意义的洞察？
• RQ5 MDBN是否在显著快于最先进轻量级Transformer的推理速度下实现了SOTA性能？

主要发现

• MDBN在Set5等标准基准上实现了最先进（SOTA）性能，PSNR与SSIM指标与或超过先前方法。
• 模型推理速度比轻量级SR Transformer快1.2倍至18倍，显著提升了实时部署的可行性。
• 频谱分析显示，MDBM在分支间的频率差异比现有分支网络更显著，表明特征冗余更少。
• 高频率差异分布不仅限于低频中心区域，证实了对高频细节与低频轮廓的有效覆盖。
• 特征图可视化表明，更深分支在较浅分支的上下文理解引导下，逐步累积精细细节。
• 所提出的傅里叶频谱分析方法成功量化并验证了不同分支的独立频率响应，支持了设计原理。