[論文レビュー] LLDiffusion: Learning Degradation Representations in Diffusion Models for Low-Light Image Enhancement

Tao Wang, Kaihao Zhang+6 more|arXiv (Cornell University)|Jul 27, 2023

Image Enhancement Techniques被引用数 8

ひとこと要約

LLDiffusionは拡散ベースのフレームワークに劣化表現を組み込み、低光劣化と強化を共同学習する。合成データセットと実データセットの両方で最先端のLLIE性能を達成。

ABSTRACT

Current deep learning methods for low-light image enhancement (LLIE) typically rely on pixel-wise mapping learned from paired data. However, these methods often overlook the importance of considering degradation representations, which can lead to sub-optimal outcomes. In this paper, we address this limitation by proposing a degradation-aware learning scheme for LLIE using diffusion models, which effectively integrates degradation and image priors into the diffusion process, resulting in improved image enhancement. Our proposed degradation-aware learning scheme is based on the understanding that degradation representations play a crucial role in accurately modeling and capturing the specific degradation patterns present in low-light images. To this end, First, a joint learning framework for both image generation and image enhancement is presented to learn the degradation representations. Second, to leverage the learned degradation representations, we develop a Low-Light Diffusion model (LLDiffusion) with a well-designed dynamic diffusion module. This module takes into account both the color map and the latent degradation representations to guide the diffusion process. By incorporating these conditioning factors, the proposed LLDiffusion can effectively enhance low-light images, considering both the inherent degradation patterns and the desired color fidelity. Finally, we evaluate our proposed method on several well-known benchmark datasets, including synthetic and real-world unpaired datasets. Extensive experiments on public benchmarks demonstrate that our LLDiffusion outperforms state-of-the-art LLIE methods both quantitatively and qualitatively. The source code and pre-trained models are available at https://github.com/TaoWangzj/LLDiffusion.

研究の動機と目的

• LLIEを、単なるピクセル単位のマッピングだけでなく劣化表現を活用する方向へ動機づける。
• データから低光劣化を捉える共同学習フレームワークを提案する。
• 強化中に劣化と画像プライアを統合する動的な劣化認識拡散モジュールを開発する。
• 合成および実世界のLLIEベンチマークで定量・定性的な性能が優れることを示す。

提案手法

• 低光入力から劣化表現を抽出する潜在マップエンコーダを導入する。
• 通常光から低光へ劣化をシミュレートする劣化生成ネットワーク（DGNET）を訓練する。
• 劣化表現と不変カラー マップに条件付けて強化を導く動的劣化認識拡散モジュール（DDDM）を開発する。
• 劣化認識学習フェーズで劣化表現を学習するため、DGNETとDDDMを結合損失で jointly train する。
• 事前訓練済みエンコーダを凍結し、カラー マップと劣化表現を条件付けた拡散モジュールを強化のため微調整する。

実験結果

リサーチクエスチョン

• RQ1 劣化表現は実世界の劣化パターンを捉えることで拡散ベースのLLIEを改善できるか。
• RQ2 動的な劣化認識拡散モジュールはカラー忠実度と知覚品質を改善するか。
• RQ3 劣化表現と強化の共同学習は従来のエンドツーエンドLLIE法と比較してどうか。
• RQ4 画像 priors として不変カラー マップの拡散ベースLLIEへの影響は？

主な発見

Method	PSNR	SSIM	LPIPS
BIMEF	13.88	0.595	0.326
NPE	16.97	0.484	0.405
LIME	16.76	0.445	0.395
MF	16.97	0.508	0.380
SRIE	11.86	0.495	0.257
RetinexNet	16.77	0.560	0.474
KinD	20.87	0.790	0.170
KinD++	21.30	0.820	0.160
Zero-DCE	14.86	0.562	0.335
RUAS	18.23	0.720	0.350
EnlightenGAN	17.48	0.652	0.322
Uformer	18.55	0.721	0.321
Restormer	22.37	0.816	0.141
LLFormer	23.65	0.816	0.171
MIRNet	24.14	0.830	0.131
LLDiffusion	24.65	0.843	0.075

• LLDiffusionはLOLおよび VE-LOLデータセットで15件のSOTA手法（MIRNetおよび LLFormerを含む）と比較してPSNR, SSIM, LPIPSで優位。
• LOLではLLDiffusionはPSNR 24.65, SSIM 0.843, LPIPS 0.075（評価対象手法中で最高）。
• 定性的には、LLDiffusionはより明るく、色忠実で、アーティファクトの少ない強調を実現し、テクスチャがより明瞭になる。
• この方法は実世界の非ペアデータセットおよびReal World Test (RWT)データセットへ一般化し、合成・実デグレードの両方で堅牢な性能を示す。
• 二段階の訓練スキーム（共同の劣化学習と拡散ベースの強化）と事前訓練済みエンコーダによりLLIEの効果的な劣化表現を得る。