[論文レビュー] Diff-Retinex: Rethinking Low-light Image Enhancement with A Generative Diffusion Model

Xunpeng Yi, Xu Han+3 more|arXiv (Cornell University)|Aug 25, 2023

Image Enhancement Techniques被引用数 8

ひとこと要約

Diff-RetinexはRetinexベースの分解と生成拡散モデルを組み合わせ、低照度画像を強化してテクスチャの補完、色忠実度、内容再現を可能にします。

ABSTRACT

In this paper, we rethink the low-light image enhancement task and propose a physically explainable and generative diffusion model for low-light image enhancement, termed as Diff-Retinex. We aim to integrate the advantages of the physical model and the generative network. Furthermore, we hope to supplement and even deduce the information missing in the low-light image through the generative network. Therefore, Diff-Retinex formulates the low-light image enhancement problem into Retinex decomposition and conditional image generation. In the Retinex decomposition, we integrate the superiority of attention in Transformer and meticulously design a Retinex Transformer decomposition network (TDN) to decompose the image into illumination and reflectance maps. Then, we design multi-path generative diffusion networks to reconstruct the normal-light Retinex probability distribution and solve the various degradations in these components respectively, including dark illumination, noise, color deviation, loss of scene contents, etc. Owing to generative diffusion model, Diff-Retinex puts the restoration of low-light subtle detail into practice. Extensive experiments conducted on real-world low-light datasets qualitatively and quantitatively demonstrate the effectiveness, superiority, and generalization of the proposed method.

研究の動機と目的

• 物理的なRetinex原理に guided された条件付き画像生成問題としてLLIEを動機づける。
• Transformerベースの分解ネットワーク（TDN）を用いて画像を照度と反射率に分解する。
• 欠落した内容を回復し、色/照明を修正するために多経路拡散生成を調整して degraded components を復元する。
• 実世界データセット間でのテクスチャ完成、色忠実度、一般化の向上を実証する。

提案手法

• LLIEをRetinex分解＋条件付き生成として定式化する。
• 高解像度分解の新規MDLA注意機構を備えたTransformer分解ネットワーク（TDN）を提案する。
• Reflectance Diffusion Adjustment (RDA) と Illumination Diffusion Adjustment (IDA) の二つの拡散調整経路を使用する。
• 低照度入力に条件付けられたRetinex成分の分布をモデル化するためにDDPMベースの前方/後方拡散を適用する。
• 分解の再構成、反射率の整合性、照度の滑らかさ損失を最適化し、内容の整合性損失を伴う拡散ベースの精製を実施する。

実験結果

リサーチクエスチョン

• RQ1 Transformerを用いた高解像度画像処理にRetinexベースの分解を効果的に学習できるか。
• RQ2 照度と反射率の拡散ベースの調整が欠落した内容を復元し、低照度下で色とテクスチャの忠実度を改善するか。
• RQ3 提案手法のDiff-Retinexは物理的解釈性と生成的復元のバランスをLLIEにおいてどう取るか。

主な発見

• Diff-Retinexは多数のSOTA手法にはないテクスチャ完成と欠落 Content の推論を実現する。
• 拡散ベースの精製は色忠実度を向上させ、ノイズを低減し、鮮やかなテクスチャと改善された照明を提供する。
• LOL/VE-LOL-Lにおける定量指標は、FID、LPIPS、BIQI、LOE、PIなどの生成/品質指標で競合または優位な性能を示す（いくつかのベースラインと比較）。
• アブレーション研究により、Transformer分解ネットワークが照明変化に対して反射率を安定化させ、拡散調整が反射率と照度の品質を改善することが示された。
• 拡散を用いた反射率の復元はFID、LPIPS、BIQIで単一ステップのRetinexベース手法を上回る。