[论文解读] Compound Multi-branch Feature Fusion for Real Image Restoration

Chi-Mao Fan, Tsung-Jung Liu+1 more|arXiv (Cornell University)|Jun 2, 2022

Advanced Image Fusion Techniques被引用 9

一句话总结

本文提出CMFNet，一种受人类视觉系统中视网膜神经节细胞启发的复合多分支特征融合网络，旨在通过单一统一框架联合处理图像去模糊、去雾和去雨。通过采用独立的注意力分支、可学习的混合跳跃连接（MSC）以及结合PSNR与SSIM的新型PS损失函数，CMFNet在多个数据集上实现了最先进的SSIM性能，展现出在不同退化类型间具有强泛化能力的感知保真度恢复效果。

ABSTRACT

Image restoration is a challenging and ill-posed problem which also has been a long-standing issue. However, most of learning based restoration methods are proposed to target one degradation type which means they are lack of generalization. In this paper, we proposed a multi-branch restoration model inspired from the Human Visual System (i.e., Retinal Ganglion Cells) which can achieve multiple restoration tasks in a general framework. The experiments show that the proposed multi-branch architecture, called CMFNet, has competitive performance results on four datasets, including image dehazing, deraindrop, and deblurring, which are very common applications for autonomous cars. The source code and pretrained models of three restoration tasks are available at https://github.com/FanChiMao/CMFNet.

研究动机与目标

• 解决现有基于学习的图像恢复模型在仅针对单一退化类型时泛化能力不足的问题。
• 开发一种统一框架，能够同时处理多种常见图像退化类型——去模糊、去雾与去雨。
• 通过引入结合PSNR与SSIM度量的新型损失函数，提升恢复图像的感知质量。
• 通过可学习的混合跳跃连接（MSC）增强特征融合与残差学习，其性能优于标准残差路径。

提出的方法

• CMFNet采用受视网膜神经节细胞并行通路启发的多分支架构，每个分支应用不同的注意力机制：通道注意力、空间注意力与像素注意力。
• 各分支通过预训练的注意力模块独立处理特征，以模拟RGC的功能特化，实现对不同类型退化选择性特征学习。
• 集成了一种新型有监督注意力模块（SAM），在输出图像上不施加直接监督，以保持网络学习的灵活性。
• 可学习的混合跳跃连接（MSC）替代标准残差连接，通过可训练的常数参数实现多分支特征的动态融合。
• 提出一种新型损失函数——PS损失，结合PSNR与SSIM，以更好地匹配人类感知并提升结构保真度。
• 整个网络通过所提出的PS损失端到端训练，消融实验验证了各组件的有效性。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效同时处理多种图像恢复任务——去模糊、去雾与去雨？
• RQ2 受视网膜神经节细胞启发的多分支架构相较于单通路模型，在恢复性能与泛化能力方面表现如何？
• RQ3 可学习的混合跳跃连接（MSC）是否相比标准残差连接能提升特征融合与恢复质量？
• RQ4 结合PSNR与SSIM的PS损失在多大程度上能提升感知图像质量，相较于标准L1（MAE）损失？
• RQ5 在独立分支中集成通道注意力（CA）、空间注意力（SA）与像素注意力（PA）模块，对不同退化类型下的性能有何影响？

主要发现

• CMFNet在四个数据集上均表现出色，涵盖合成与真实世界基准，适用于去模糊、去雾与去雨任务。
• 在GoPro去模糊数据集上，CMFNet实现PSNR为30.54 dB，SSIM为0.913，排名居中但展现出强鲁棒性。
• 消融实验表明，包含MSC与PS损失的完整CMFNet在GoPro数据集上实现29.16 dB PSNR与0.887 SSIM，优于所有消融变体。
• PS损失在不增加参数量的前提下，相比L1损失带来+0.008的SSIM增益，表明感知质量得到提升。
• 采用三种注意力模块（CA、SA、PA）的多分支设计实现28.88 dB PSNR，表明多路径特征学习可有效提升性能。
• 所提出的带可学习参数的MSC在消融实验中展现出最高的PSNR与SSIM，证明其相比标准残差连接能更有效地实现特征聚合。