[論文レビュー] Bridging Degradation Discrimination and Generation for Universal Image Restoration

JiaKui Hu, Zhengjian Yao+2 more|arXiv (Cornell University)|Jan 31, 2026

Advanced Image Processing Techniques被引用数 0

ひとこと要約

BDGは細粒度の劣化識別のためのMAS-GLCMと、普遍的な画像復元のための生成事前知識と劣化認識を橋渡しする三段階拡散訓練フレームワークを導入します。

ABSTRACT

Universal image restoration is a critical task in low-level vision, requiring the model to remove various degradations from low-quality images to produce clean images with rich detail. The challenges lie in sampling the distribution of high-quality images and adjusting the outputs on the basis of the degradation. This paper presents a novel approach, Bridging Degradation discrimination and Generation (BDG), which aims to address these challenges concurrently. First, we propose the Multi-Angle and multi-Scale Gray Level Co-occurrence Matrix (MAS-GLCM) and demonstrate its effectiveness in performing fine-grained discrimination of degradation types and levels. Subsequently, we divide the diffusion training process into three distinct stages: generation, bridging, and restoration. The objective is to preserve the diffusion model's capability of restoring rich textures while simultaneously integrating the discriminative information from the MAS-GLCM into the restoration process. This enhances its proficiency in addressing multi-task and multi-degraded scenarios. Without changing the architecture, BDG achieves significant performance gains in all-in-one restoration and real-world super-resolution tasks, primarily evidenced by substantial improvements in fidelity without compromising perceptual quality. The code and pretrained models are provided in https://github.com/MILab-PKU/BDG.

研究の動機と目的

• universal image restoration における多様な劣化を扱う単一モデルの必要性に対処する。
• 劣化タイプとレベルを区別する細粒度の劣化特徴抽出手法を開発する。
• アーキテクチャを変更せずに劣化識別と拡散ベースの生成を組み合わせる。
• all-in-one および実世界シナリオで生成事前知識を保持しつつ復元忠実度を向上させる。
• 混合劣化および実世界の超解像でも堅牢な復元を実現する。

提案手法

• MAS-GLCM（Multi-Angle and Multi-Scale Gray Level Co-occurrence Matrix）を導入し、劣化タイプとレベルを識別する。
• 拡散の逆過程を再定式化し、生成前訓練・架橋・復元微調整の三段階訓練を実装する。
• 架橋損失と劣化分類損失を介してMAS-GLCM特徴と拡散特徴を整合させ、劣化識別と生成事前知識を橋渡しする。
• 残差と低品質（LQ）入力を条件として拡散モデルで条件付き復元を実現する。
• all-in-oneの5D復元設定で訓練し、実世界と混合劣化タスクで評価する。
• 実世界の劣化順序を利用した擬似ラベルを取り入れ、実世界の劣化の複雑さを模擬する。

Figure 1: (1) Visualization of MAS-GLCM in varying degradation levels. With an increase in degradation levels, the MAS-GLCM exhibits significant transformations. (2) The results of the T-SNE analysis for LQ images and MAS-GLCM across various degradation types demonstrate that MAS-GLCM possesses an e

実験結果

リサーチクエスチョン

• RQ1 MAS-GLCMは既存の特徴量を超える細粒度の劣化識別を提供できるか。
• RQ2 三段階のBDG拡散訓練は生成事前知識を維持しつつ、多様な劣化で復元忠実度を向上させられるか。
• RQ3 all-in-one、混合劣化、および実世界の超解像タスクで、最先端手法と比較してBDGはどう機能するか。
• RQ4 橋渡しと劣化分類損失が復元品質と忠実度に与える影響は何か。
• RQ5 実世界の劣化順序を用いて堅牢な復元モデルを効果的に訓練できるか。

主な発見

• BDGは deraining、低照度強調、霧吹き除去、ブレ補正のタスクを含む全てを一括復元で最先端の性能を達成した。
• BDGはDiffUIRを顕著に上回り、特に霧と雨条件の混合劾機でPSNR/SSIMなどの指標を改善した。
• 実世界SRではBDGは全参照指標（PSNR/SSIM/LPIPS）でトップまたはほぼトップの結果を示し、非参照指標（MANIQA、MUSIQ、CLIPIQA）でも競争力を示した。
• アブレーション研究は、架橋段階と復元微調整段階の双方が最適な性能に不可欠であり、劣化分類損失が橋渡し中のエンコーダ崩壊を防ぐことを示した。
• MAS-GLCMはSobell、ラプラス、フーリエベースの特徴より優れた劣化タイプとレベルの分類精度を提供する。
• モデルは生成事前知識を保持しつつ、劣化識別と生成を整合させることで豊かな質感生成を維持し、復元忠実度を向上させる。

Figure 2: Three training stages in BDG. (1) During the generation stage, the model focuses on obtaining generation priors. (2) In the bridging stage, the MAS-GLCM, which can identify degradation fine-grainedly, is aligned with the features of the pre-trained generation model, thereby endowing the mo