[論文レビュー] M2IR: Proactive All-in-One Image Restoration via Mamba-style Modulation and Mixture-of-Experts

Shiwei Wang, Yongzhen Wang+4 more|arXiv (Cornell University)|Mar 16, 2026

Advanced Image Processing Techniques被引用数 0

ひとこと要約

M2IRはMambaスタイル Transformerを用いたエンコーディング時の劣化抑制と、DA-CLIPガイドルータを備えたAdaptive Degradation Expert Collaborationでデコード時の残差を精練し、さまざまな劣化に対して最先端のオールインワン画像復元を達成します。

ABSTRACT

While Transformer-based architectures have dominated recent advances in all-in-one image restoration, they remain fundamentally reactive: propagating degradations rather than proactively suppressing them. In the absence of explicit suppression mechanisms, degraded signals interfere with feature learning, compelling the decoder to balance artifact removal and detail preservation, thereby increasing model complexity and limiting adaptability. To address these challenges, we propose M2IR, a novel restoration framework that proactively regulates degradation propagation during the encoding stage and efficiently eliminates residual degradations during decoding. Specifically, the Mamba-Style Transformer (MST) block performs pixel-wise selective state modulation to mitigate degradations while preserving structural integrity. In parallel, the Adaptive Degradation Expert Collaboration (ADEC) module utilizes degradation-specific experts guided by a DA-CLIP-driven router and complemented by a shared expert to eliminate residual degradations through targeted and cooperative restoration. By integrating the MST block and ADEC module, M2IR transitions from passive reaction to active degradation control, effectively harnessing learned representations to achieve superior generalization, enhanced adaptability, and refined recovery of fine-grained details across diverse all-in-one image restoration benchmarks. Our source codes are available at https://github.com/Im34v/M2IR.

研究の動機と目的

• エンコーディング中に劣化を事前に抑制し、後から反応的に補正するのではなく、全方位画像復元モデルを推進する動機づけ。
• ピクセル単位の選択的状態変調を行い、構造を保持しつつ劣化を抑制するMamba-Style Transformer（MST）を開発。
• 残差除去と堅牢な復元のために専門エキスパートと共有エキスパートを調整するAdaptive Degradation Expert Collaboration（ADEC）を設計。
• DA-CLIP由来の priors を用いてルーティングを導き、多様な劣化パターンに対するエキスパート利用のバランスを促進。
• 複数の全方位劣化ベンチマークと実データで最先端性能を示す。

提案手法

• エンコーダにMSTブロックを組み込み、劣化を事前に抑制するU字型エンコーダ–デコーダを提案。
• Mast-Style Attention（MSA）を備えたMSTを導入し、シグモイドゲートを介して状態を変調し、劣化したトークンを抑制。
• デコーダ段間にAdaptive Degradation Expert Collaboration（ADEC）を統合し、残差劭を精練。
• ADECはDA-CLIPのDegradation-Aware Contextual Priors（DACP）を用いてエキスパート選択のルーティングウェイトを生成。
• Degradation-Guided Expert Aggregation（DGEA）を実行し、トップKの専門エキスパートとピクセルごとに共有エキスパートを融合。
• 合成損失としてCharbonnier損失に加え、ロードバランシング損失とFFT損失を組み合わせ、ピクセル精度・エキスパート利用の balanced、スペクトル忠実度を促進。

実験結果

リサーチクエスチョン

• RQ1 エンコーディング時の劣化を事前に抑制するガバナンスは、多様な劣化に対する全方位復元の一般化を改善するか。
• RQ2 MSTに基づく事前抑制とADECに基づく適応デコードは、反応的な方法と比べて復元品質とロバスト性を向上させるか。
• RQ3 DA-CLIP priors による劣化認識ルーティングは、エキスパートの使用バランスを取り、専門エキスパートと共有エキスパートの協調を強化するか。
• RQ4 提案手法は合成多劣化ベンチマークと実データの両方で有効か。
• RQ5 提案 Loss（ロードバランシングとFFT）が訓練安定性と復元品質に与える影響は何か。

主な発見

• M2IRは報告された比較で3つの劣化（霧化、雨天除去、ノイズ除去）で最先端のPSNR/SSIMを達成し、従来のオールインワー法を上回る。
• 5つの劣化（霧化、除雨、ノイズ除去、デブラー、低照度）で、霧化・除雨・低照度の新たなリード結果を提供し、ノイズ除去とデブラーでは競争力を維持し、平均PSNR/SSIMは最高。
• CDD11複合劣化データセットで、M2IRは前任の最先端 MIRAGE を顕著なマージンで上回る平均PSNR/SSIMを達成。
• WeatherBench の実世界天候画像復元では、霧・雨・雪の復元タスクで複数のベースラインに対して競争力が高く堅牢な性能を示す（詳細な全数値はここでは再現していません）。
• 提案されたロードバランシングとFFT損失は、エキスパート利用を安定させ、復元結果のスペクトル忠実度を改善する。