[論文レビュー] Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model

Chunming He, Alex Chengyu Fang+7 more|arXiv (Cornell University)|Nov 20, 2023

Image Enhancement Techniques被引用数 10

ひとこと要約

Reti-Diffは、照明劣化画像復元のための瞳像Retinexガイド付き潜在拡散フレームワークを提示し、Retinexベースの潜在DMとRetinexガイド付きトランスフォーマーを組み合わせて、IDIRタスク全体でディテール、カラー補正、およびロバスト性を向上させる。

ABSTRACT

Illumination degradation image restoration (IDIR) techniques aim to improve the visibility of degraded images and mitigate the adverse effects of deteriorated illumination. Among these algorithms, diffusion model (DM)-based methods have shown promising performance but are often burdened by heavy computational demands and pixel misalignment issues when predicting the image-level distribution. To tackle these problems, we propose to leverage DM within a compact latent space to generate concise guidance priors and introduce a novel solution called Reti-Diff for the IDIR task. Reti-Diff comprises two key components: the Retinex-based latent DM (RLDM) and the Retinex-guided transformer (RGformer). To ensure detailed reconstruction and illumination correction, RLDM is empowered to acquire Retinex knowledge and extract reflectance and illumination priors. These priors are subsequently utilized by RGformer to guide the decomposition of image features into their respective reflectance and illumination components. Following this, RGformer further enhances and consolidates the decomposed features, resulting in the production of refined images with consistent content and robustness to handle complex degradation scenarios. Extensive experiments show that Reti-Diff outperforms existing methods on three IDIR tasks, as well as downstream applications. Code will be available at \url{https://github.com/ChunmingHe/Reti-Diff}.

研究の動機と目的

• 潜在空間での効率的な拡散ベースのガイダンスを用いて、照明劣化画像復元（IDIR）を動機づけ、解決する。
• Retinex理論を活用して反射率と照明の priors を抽出し、復元とカラー補正を改善する。
• RLDMを導入してRetinex priorsを学習し、RGformerを導いて priors を特徴分解と再構成へ統合する。
• 複数のIDIRタスクで堅牢な性能を実現し、下流の可視タスクに有益性を示す。

提案手法

• 二つのコンポーネントからなるReti-Diffフレームワークを提案：Retinexベース潜在拡散モデル（RLDM）とRetinexガイド付きトランスフォーマー（RGformer）。
• RLDMはRetinex知識を学習し、反射率と照明ドメインのコンパクトなpriorを生成する。
• RGformerはRetinex priorsを用いて、Retinexガイド付きマルチヘッドクロスアテンション（RG-MCA）とダイナミック特徴統合（DFA）を介して特徴を反射率と照明成分に分解する。
• フェーズIではRetinex priors抽出（RPE）とRGformerガイダンスでReti-Diffを事前学習する。フェーズIIではRLDMを訓練して反射率と照明ドメインでRetinex priorsを予測する。
• 復元の再構成損失、Retinex分解を監督するRetinex損失、生成 priors と RLDM priors を整合させる拡散損失（LDif）を含む。
• 推論はRLDMから条件付き priors を用いて、Retinex理論に guided された高品質な復元画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間のコンパクトな拡散が、画像空間の拡散と比較して計算量を削減しつつIDIRの効果的なガイダンス priorsを提供できるか。
• RQ2 RLDMを介して学習されたRetinex由来の反射率と照明 priors が、トランスフォーマー ベースの復元ネットワークに統合されたとき、より正確なディテール再現とカラー補正を実現できるか。
• RQ3 RGformerはRG-MCAとDFAを用いて、さまざまな劣化シナリオで反射率と照明の特徴を堅牢に分解・統合できるか。
• RQ4 RPE、RGformer、RLDMの共同訓練は、復元品質と極端な劣化状況でのロバスト性を改善し、オブジェクト検出やセグメンテーションなどの下流タスクに一般化できるか。

主な発見

• Reti-Diffは複数のベンチマークを横断する3つのIDIRタスクで既存手法を上回る（例：低光量、水中、逆光など）。
• RLDMはRetinex知識を学習し、ディテール復元とカラー補正をガイドする反射率と照明 priors を提供する。
• RGformerはRetinex priorsを用いて特徴を反射率と照明に分解し、RG-MCAとDFAで一貫した復元へと精製する。
• RPE、RGformer、RLDMの共同訓練は復元品質とロバスト性を高め、極端な劣化シナリオでの効果を示す。
• 本アプローチは低照度物体検出やセグメンテーションなどの下流応用にも有利な結果を示す。