[论文解读] M2IR: Proactive All-in-One Image Restoration via Mamba-style Modulation and Mixture-of-Experts

Shiwei Wang, Yongzhen Wang+4 more|arXiv (Cornell University)|Mar 16, 2026

Advanced Image Processing Techniques被引用 0

一句话总结

M2IR通过结合Mamba风格变换器来抑制编码阶段的降解，并通过DA-CLIP引导的路由的自适应降解专家协作在解码阶段 refined 残差，从而在各类降解下实现前所未有的一体化图像修复的最先进水平。

ABSTRACT

While Transformer-based architectures have dominated recent advances in all-in-one image restoration, they remain fundamentally reactive: propagating degradations rather than proactively suppressing them. In the absence of explicit suppression mechanisms, degraded signals interfere with feature learning, compelling the decoder to balance artifact removal and detail preservation, thereby increasing model complexity and limiting adaptability. To address these challenges, we propose M2IR, a novel restoration framework that proactively regulates degradation propagation during the encoding stage and efficiently eliminates residual degradations during decoding. Specifically, the Mamba-Style Transformer (MST) block performs pixel-wise selective state modulation to mitigate degradations while preserving structural integrity. In parallel, the Adaptive Degradation Expert Collaboration (ADEC) module utilizes degradation-specific experts guided by a DA-CLIP-driven router and complemented by a shared expert to eliminate residual degradations through targeted and cooperative restoration. By integrating the MST block and ADEC module, M2IR transitions from passive reaction to active degradation control, effectively harnessing learned representations to achieve superior generalization, enhanced adaptability, and refined recovery of fine-grained details across diverse all-in-one image restoration benchmarks. Our source codes are available at https://github.com/Im34v/M2IR.

研究动机与目标

• 促进一体化图像修复模型在编码阶段就主动抑制降解，而不是后期被动补偿。
• 开发一个Mamba-Style Transformer（MST），实现像素级选择性状态调制以抑制降解并保留结构。
• 设计一个自适应降解专家协作（ADEC），通过降解感知路由协调专用与共享专家进行残差去除与稳健修复。
• 利用DA-CLIP驱动的先验来引导路由并在多样降解模式中促进平衡的专家利用率。
• 在多项一体化降解基准和真实世界数据上展示最先进的性能。

提出的方法

• 提出一个带有MST块的U形编码器–解码器，以在编码阶段主动抑制降解。
• 引入Mamba-Style Transformer（MST）及Mamba-Style Attention（MSA），通过Sigmoid门控对状态进行调制以抑制降解的 token。
• 在解码阶段之间集成自适应降解专家协作（ADEC），以 refined 残余降解。
• ADEC利用来自DA-CLIP的降解感知上下文先验（DACP）来生成路由权重以选择专家。
• 进行降解引导的专家聚合（DGEA），对前-K个专用专家和每像素的共享专家进行融合。
• 采用组合损失进行训练：Charbonnier损失加上负载平衡损失和FFT损失，以促进像素级准确性、平衡的专家使用以及光谱保真度。

实验结果

研究问题

• RQ1 在编码阶段的主动降解治理是否能在多样降解下提升一体化修复的泛化能力？
• RQ2 基于MST的主动抑制与基于ADEC的自适应解码是否相比被动方法在修复质量与鲁棒性上更优？
• RQ3 由DA-CLIP先验引导的降解感知路由是否能在专用与共享专家之间实现使用平衡并提升协作？
• RQ4 该方法在合成多降解基准与真实世界降解数据上是否都有效？
• RQ5 所提损失（负载平衡与FFT）对训练稳定性与修复质量有何影响？

主要发现

• M2IR在报道比较中的三种降解（去雾、去雨、去噪）的PSNR/SSIM达到最先进水平，优于此前的一体化方法。
• 在五种降解（去雾、去雨、去噪、去模糊、低光）上，M2IR在去雾、去雨和低光方面取得新的领先结果，在去噪和去模糊方面具有竞争力，且平均PSNR/SSIM最佳。
• 在CDD11复合降解数据集上，M2IR相较于前一代MIRAGE有显著提升的平均PSNR/SSIM。
• WeatherBench真实世界天气图像修复结果显示在雾、雨、雪修复任务中对若干基线方法具有竞争力且表现强劲（此处未给出全部详细数字）。
• 提出的负载平衡与FFT损失有助于稳定专家使用并提升修复结果的光谱保真度。