[论文解读] Mixed Hierarchy Network for Image Restoration

Hu Gao, Depeng Dang|arXiv (Cornell University)|Feb 19, 2023

Advanced Image Processing Techniques被引用 7

一句话总结

MHNet 提出了一种混合层次结构框架，结合自适应特征融合与选择性多头注意力，在保持上下文信息与空间细节之间的平衡的同时，以较低计算量实现去雨与去模糊的先进结果。

ABSTRACT

Image restoration is a long-standing low-level vision problem, e.g., deblurring and deraining. In the process of image restoration, it is necessary to consider not only the spatial details and contextual information of restoration to ensure the quality, but also the system complexity. Although many methods have been able to guarantee the quality of image restoration, the system complexity of the state-of-the-art (SOTA) methods is increasing as well. Motivated by this, we present a mixed hierarchy network that can balance these competing goals. Our main proposal is a mixed hierarchy architecture, that progressively recovers contextual information and spatial details from degraded images while we design intra-blocks to reduce system complexity. Specifically, our model first learns the contextual information using encoder-decoder architectures, and then combines them with high-resolution branches that preserve spatial detail. In order to reduce the system complexity of this architecture for convenient analysis and comparison, we replace or remove the nonlinear activation function with multiplication and use a simple network structure. In addition, we replace spatial convolution with global self-attention for the middle block of encoder-decoder. The resulting tightly interlinked hierarchy architecture, named as MHNet, delivers strong performance gains on several image restoration tasks, including image deraining, and deblurring.

研究动机与目标

• 在图像修复中推动修复质量与系统复杂度之间的平衡。
• 提出将上下文为主的编码-解码器与全分辨率细节保持相结合的混合层次架构。
• 引入自适应特征融合（AFFM），实现跨层次信息交换。
• 开发线性时间复杂度的选择性多头注意力机制（SMAM）。
• 使用无非线性激活的基础块以降低计算负担。

提出的方法

• 采用两层次架构：一个用于上下文的编码器-解码子网络，另一个用于空间细节的全分辨率子网络。
• 引入 AFFM，通过自注意力机制融合不同层次的特征。
• 将 SMAM 设计为编码器-解码器之间的中间块，以在线性复杂度保留关键注意力分数。
• 通过乘法替代/省略非线性激活，以通过无非线性激活块（NAFBlock）降低模型复杂度。
• 采用基于 PSNR 的损失用于训练，并对去雨和去模糊任务进行标准数据增强。

实验结果

研究问题

• RQ1 混合层次结构是否能够在降低计算成本的同时联合捕捉多尺度上下文信息与细粒度空间细节？
• RQ2 AFFM 与 SMAM 是否能够实现有效的跨层次信息交换与注意力机制？
• RQ3 MHNet 是否能够在去雨和去模糊任务上以更低的 MACs 与参数实现与SOTA相当的性能？
• RQ4 用激活函数替换为激活无块对修复精度和效率有何影响？

主要发现

• MHNet 在去雨和去模糊基准上优于若干 SOTA 方法。
• 与基线 NAFNet 相比，MHNet 在去雨数据集上的平均 PSNR 提升约 1.23 dB。
• 与 Restormer 和 DRSformer 相比，MHNet 在计算成本显著降低（MACs 约比部分对手低 40 倍），仍具竞争力的 PSNR/SSIM。
• AFFM 相较于简单融合给出可测量的增益，通过消融实验实现 +0.12–0.18 dB PSNR 的提升。
• SMAM 将注意力计算从二次复杂度降至线性复杂度，同时保持或提升 PSNR/SSIM。
• MHNet 展现出强泛化能力，在 GoPro 和 HIDE 去模糊基准上实现了最先进的 PSNR，即使仅在 GoPro 上训练也能达到较好效果。