[論文レビュー] Global Structure-Aware Diffusion Process for Low-Light Image Enhancement

Jinhui Hou, Zhiyu Zhu+4 more|arXiv (Cornell University)|Oct 26, 2023

Sparse and Compressive Sensing Techniques被引用数 43

ひとこと要約

拡散モデルベースのフレームワークが全体構造認識と不確実性ガイド項を用いてODE軌道を正規化し、低照度画像の強調を改善。いくつかのLLIEベンチマークで最先端の指標を達成。

ABSTRACT

This paper studies a diffusion-based framework to address the low-light image enhancement problem. To harness the capabilities of diffusion models, we delve into this intricate process and advocate for the regularization of its inherent ODE-trajectory. To be specific, inspired by the recent research that low curvature ODE-trajectory results in a stable and effective diffusion process, we formulate a curvature regularization term anchored in the intrinsic non-local structures of image data, i.e., global structure-aware regularization, which gradually facilitates the preservation of complicated details and the augmentation of contrast during the diffusion process. This incorporation mitigates the adverse effects of noise and artifacts resulting from the diffusion process, leading to a more precise and flexible enhancement. To additionally promote learning in challenging regions, we introduce an uncertainty-guided regularization technique, which wisely relaxes constraints on the most extreme regions of the image. Experimental evaluations reveal that the proposed diffusion-based framework, complemented by rank-informed regularization, attains distinguished performance in low-light enhancement. The outcomes indicate substantial advancements in image quality, noise suppression, and contrast amplification in comparison with state-of-the-art methods. We believe this innovative approach will stimulate further exploration and advancement in low-light image processing, with potential implications for other applications of diffusion models. The code is publicly available at https://github.com/jinnh/GSAD.

研究の動機と目的

• DiffusionベースのLLIE手法におけるピクセル単位正規化の限界を動機づけ、対処する。
• 拡散ODE軌道を正規化して全体的な画像構造と詳細を保持する。
• グローバル構造を捉える非局所パッチベースの行列ランク正規化を導入する。
• 難易度の高い領域で正規化強度を適応させる不確実性ガイド機構を組み込む。
• 標準的なLLIEデータセットで復元品質と頑健性の改善を示す。

提案手法

• 入力低照度画像に条件付けられた拡散過程としてLLIE問題をモデル化し、各タイムステップで学習可能な閉形式サンプルを得る。
• 拡散を通じて段階的に導入されるκ_tスケジューリングを用いて、クラスタ across patchの非局所的・ランクベースの行列表現を介してグローバルな構造認識項で逆軌道を正規化する。
• 固定の閉形式ではなく学習可能な経路上で正規化を適用するために、X_tからX_{t-1}の学習可能な閉形式サンプルを構築し安定性を向上させる。
• 画像ブロックを非局所的にクラスタリングして、ランクがグローバル構造を反映する行列を形成し、現在の構造と真の構造の乖離を抑制する。
• 事前学習済みの不確実性モデルによる不確実性マップP_tを導入し、拡散損失に重みを付けて難易領域を強調する。
• 不確実性ガイド項と構造認識正規化項を組み合わせた損失と適応的な学習スケジュールで最適化する。

実験結果

リサーチクエスチョン

• RQ1 グローバル構造認識かつランクベースの正規化はLLIEにおける拡散逆軌道の曲率と安定性を改善するか？
• RQ2 非局所パッチベースの行列ランクモデリングはピクセル単位の損失と比べてグローバルな質感とコントラストをより良く保持できるか？
• RQ3 不確実性ガイド正規化の組み込みは難易度の高い低照度領域の学習を改善しつつ全体的な品質を損なわないか？
• RQ4 構造認識正規化を徐々に注入することはベンチマーク全体でLLIEの性能にどのような影響を与えるか？

主な発見

Methods	LOLv1 PSNR	LOLv1 SSIM	LOLv1 LPIPS	LOLv2-real PSNR	LOLv2-real SSIM	LOLv2-real LPIPS	LOLv2-synthetic PSNR	LOLv2-synthetic SSIM	LOLv2-synthetic LPIPS	Params(M)
LIME	16.760	0.560	0.350	15.240	0.470	0.415	16.880	0.776	0.675	-
Zero-DCE	14.861	0.562	0.335	18.059	0.580	0.313	-	-	-	0.33
EnlightenGAN	17.483	0.652	0.322	18.640	0.677	0.309	16.570	0.734	-	8.64
RetinexNet	16.770	0.462	0.474	18.371	0.723	0.365	17.130	0.798	0.754	0.62
DRBN	19.860	0.834	0.155	20.130	0.830	0.147	23.220	0.927	-	2.21
KinD	20.870	0.799	0.207	17.544	0.669	0.375	16.259	0.591	0.435	8.03
KinD++	21.300	0.823	0.175	19.087	0.817	0.180	-	-	-	9.63
MIRNet	24.140	0.842	0.131	20.357	0.782	0.317	21.940	0.846	-	5.90
LLFlow	25.132	0.872	0.117	26.200	0.888	0.137	24.807	0.919	0.067	37.68
LLFormer	25.758	0.823	0.167	26.197	0.819	0.209	28.006	0.927	0.061	24.55
SNR-Aware	26.716	0.851	0.152	27.209	0.871	0.157	27.787	0.941	0.054	39.13
Ours	27.839	0.877	0.091	28.818	0.895	0.095	28.670	0.944	0.047	17.36

• 提案手法はLOLv1およびLOLv2においてPSNR、SSIM、LPIPSの全指標で最先端の性能を達成し、最小のLPIPSが知覚品質の優位性を示す。
• LOLv1ではPSNR 27.839、SSIM 0.877、LPIPS 0.091を、LOLv2-realではPSNR 28.818、SSIM 0.895、LPIPS 0.095を、LOLv2-syntheticではPSNR 28.670、SSIM 0.944、LPIPS 0.047を記録。
• 提案手法は未ペアの実世界LLIEデータセット（DICM、LIME、MEF、NPE、VV）でNIQEスコアが競合他手法より良好で、一般化能力が向上。
• アブレーション研究は、適応スケジューリングを備えた非局所ランクベース正規化と不確実性ガイド正規化の組み合わせがPSNR、SSIM、LPIPSで最大の改善を生むことを示す。
• 高度な階層的クラスタリングはK-meansよりPSNRと知覚指標をさらに改善し、構造モデリングのクラスタリング選択の重要性を示す。