[论文解读] Magic ELF: Image Deraining Meets Association Learning and Transformer

Kui Jiang, Zhongyuan Wang+4 more|arXiv (Cornell University)|Jul 21, 2022

Image Enhancement Techniques被引用 5

一句话总结

该论文提出 Magic ELF，一种轻量级图像去雨模型，通过关联学习统一卷积神经网络（CNN）与视觉Transformer（Transformer），联合优化雨痕去除与背景细节恢复。通过引入多输入注意力模块和深度可分离卷积，ELF 在计算成本降低 88.4%、参数量仅为 MPRNet 的 11.7% 的前提下，实现 SOTA 性能，平均 PSNR 提升 0.25 dB，同时支持实时推理。

ABSTRACT

Convolutional neural network (CNN) and Transformer have achieved great success in multimedia applications. However, little effort has been made to effectively and efficiently harmonize these two architectures to satisfy image deraining. This paper aims to unify these two architectures to take advantage of their learning merits for image deraining. In particular, the local connectivity and translation equivariance of CNN and the global aggregation ability of self-attention (SA) in Transformer are fully exploited for specific local context and global structure representations. Based on the observation that rain distribution reveals the degradation location and degree, we introduce degradation prior to help background recovery and accordingly present the association refinement deraining scheme. A novel multi-input attention module (MAM) is proposed to associate rain perturbation removal and background recovery. Moreover, we equip our model with effective depth-wise separable convolutions to learn the specific feature representations and trade off computational complexity. Extensive experiments show that our proposed method (dubbed as ELF) outperforms the state-of-the-art approach (MPRNet) by 0.25 dB on average, but only accounts for 11.7\% and 42.1\% of its computational cost and parameters. The source code is available at https://github.com/kuijiang94/Magic-ELF.

研究动机与目标

• 解决 CNN 在捕捉长距离依赖关系方面的局限性，以及 Transformer 在学习局部特征方面的不足，以提升图像去雨性能。
• 统一 CNN 与 Transformer 架构，利用局部不变性与全局注意力机制，实现更优的去雨效果。
• 在保持或提升图像去雨及下游任务性能的前提下，降低计算成本。
• 提升去雨模型在对抗性攻击下的鲁棒性。
• 提升去雨任务与下游视觉任务（如目标检测）的联合性能。

提出的方法

• 提出一种两阶段架构，将雨痕去除与背景恢复解耦为独立但相互关联的学习路径。
• 引入多输入注意力模块（MAM），动态关联来自雨痕扰动分支与背景恢复分支的特征。
• 采用深度可分离卷积以降低模型复杂度，同时保持特征表示能力。
• 引入基于雨滴分布的退化先验，指导背景恢复，提升结构一致性。
• 采用联合优化策略，增强雨痕去除与细节重建任务之间的兼容性。
• 采用动态关联学习机制，支持端到端训练与共享表示的联合优化。

实验结果

研究问题

• RQ1 统一的 CNN-Transformer 架构是否能在图像去雨任务中超越独立的 CNN 或 Transformer 模型？
• RQ2 如何有效结合 CNN 的局部不变性与 Transformer 的全局注意力机制以实现更优的去雨效果？
• RQ3 基于雨滴分布的退化先验是否能提升背景恢复质量并减少残留伪影？
• RQ4 轻量化模型在显著降低计算成本的前提下，能否实现 SOTA 性能？
• RQ5 雨痕去除与细节恢复的联合学习是否能提升下游任务（如目标检测）的性能？

主要发现

• 在 TEST1200 数据集上，ELF 实现平均 33.38 dB 的 PSNR，相比 MPRNet 提升 0.25 dB，同时仅使用其 11.7% 的参数量与 42.1% 的 FLOPs。
• ELF-LW 在 COCO350/BDD350 数据集上分别实现 18.43/18.09 dB 的 PSNR，相比 PCNet 提升 0.52 dB，且计算成本更低（21.53 vs. 28.21 GFLOPs）。
• 在 YOLOv3 目标检测任务中，ELF 在 BDD350 数据集上实现 33.85% 的精度与 62.61% 的 IoU，优于所有基线模型。
• ELF 在对抗性攻击（LMSE 与 LPIPS）下表现出优于其他去雨模型的鲁棒性。
• 视觉结果表明，ELF 生成的图像更干净、更自然，雨痕残留更少，纹理保留更佳，优于对比方法。
• 与 Restormer 相比，ELF 将推理时间降低 88.0%，在 512×512 图像上实现 125 ms 的推理速度。