[論文レビュー] High-quality Image Dehazing with Diffusion Model

Hu Yu, Jie Huang+2 more|arXiv (Cornell University)|Aug 23, 2023

Image Enhancement Techniques被引用数 13

ひとこと要約

本論文は、Atmospheric Scattering Model (ASM) を条件付き DDPM と組み合わせた2段階の物理認識 diffusion ベースの枠組みで、特に密度の高い霞の状況において最先端のデ haze を達成する DehazeDDPM を提案します。

ABSTRACT

Image dehazing is quite challenging in dense-haze scenarios, where quite less original information remains in the hazy image. Though previous methods have made marvelous progress, they still suffer from information loss in content and color in dense-haze scenarios. The recently emerged Denoising Diffusion Probabilistic Model (DDPM) exhibits strong generation ability, showing potential for solving this problem. However, DDPM fails to consider the physics property of dehazing task, limiting its information completion capacity. In this work, we propose DehazeDDPM: A DDPM-based and physics-aware image dehazing framework that applies to complex hazy scenarios. Specifically, DehazeDDPM works in two stages. The former stage physically models the dehazing task with the Atmospheric Scattering Model (ASM), pulling the distribution closer to the clear data and endowing DehazeDDPM with fog-aware ability. The latter stage exploits the strong generation ability of DDPM to compensate for the haze-induced huge information loss, by working in conjunction with the physical modelling. Extensive experiments demonstrate that our method attains state-of-the-art performance on both synthetic and real-world hazy datasets.

研究の動機と目的

• dense haze 下での内容と色の情報損失を、物理-informed な2段階アプローチで解消する。
• 条件付き DDPM を用いて、物理モデリングに導かれた clear データ分布を記憶する。
• fog-aware および distribution-closer conditioning によって、現実世界の複雑な hazy シーンで dehazing を改善する。
• diffusion 過程で高周波ディテールの回復を強化するための frequency-prior を導入する。

提案手法

• Stage 1: 物理ベースのネットワークが Atmospheric Scattering Model (ASM) に guided されて transmission map (trmap)、haze-free image (J)、Atmospheric light (A) を推定する。
• Stage 2: conditional DDPM が Fog-aware and Distribution-closer Conditions (FDC) と Confidence-guided Dynamic Fusion (CDF) で clear 分布へと refine する。
• 訓練目的は標準的な DDPM 損失に加え high-frequency 回復を強調する frequency-prior loss を含む。
• first-stage の出力 J と trmap が second-stage diffusion プロセスへ trmap-weighted fusion (CDF) を介して情報を提供する、2段階の fusion の導入。
• 訓練中の exponential moving average (EMA) による color shift の緩和。

Figure 1: The visual examples of dehazing results were sampled from real-world hazy images. The second to fourth columns show the results of Dehamer [ 3 ] , our first-stage, and our DehazeDDPM, respectively. Our method demonstrates unprecedented perceptual quality on the challenging real-world datas

実験結果

リサーチクエスチョン

• RQ1 拡散モデルを dehazing に対して物理認識させるには、ASM を2段階の枠組みに統合することでどう実現できるか。
• RQ2 dehazed 推定値と推定 transmission map を条件に設定することで、dense-haze データセットにおける性能は向上するか。
• RQ3 frequency priors と dynamic fusion は dehazing における高周波ディテールの復元と知覚品質を改善できるか。
• RQ4 提案手法 DehazeDDPM は synthetic benchmarks を超えて現実世界の hazy シーンへどれだけ一般化できるか。

主な発見

Method	Dense-Haze FID	Dense-Haze LPIPS	Dense-Haze PSNR	Dense-Haze SSIM	NH-HAZE FID	NH-HAZE LPIPS	NH-HAZE PSNR	NH-HAZE SSIM	SOTS FID	SOTS LPIPS	SOTS PSNR	SOTS SSIM
DCP	343.65	0.6050	10.06	0.3856	348.36	0.3994	10.57	0.5196	30.85	0.0694	15.09	0.7649
AOD-Net	415.82	0.5991	13.14	0.4144	461.42	0.4947	15.40	0.5693	48.56	0.0988	19.82	0.8178
GridNet	429.73	0.5102	13.31	0.3681	331.15	0.3046	13.80	0.5370	3.93	0.0081	32.16	0.9836
FFA-Net	413.22	0.4976	14.39	0.4524	374.31	0.3653	19.87	0.6915	2.30	0.0048	36.39	0.9886
MSBDN	335.03	0.5358	15.37	0.4858	287.81	0.2918	19.23	0.7056	8.13	0.0288	33.79	0.9840
AECR-Net	335.18	0.5368	15.80	0.4660	196.38	0.2782	19.88	0.7073	3.18	0.0068	37.17	0.9901
Dehamer	223.65	0.4796	16.62	0.5602	138.49	0.2296	20.66	0.6844	2.54	0.0046	36.63	0.9881
FSDGN	202.94	0.4190	16.91	0.5806	177.63	0.2248	19.99	0.7106	1.54	0.0037	38.63	0.9903
RIDCP	316.38	0.5507	8.0857	0.4173	367.67	0.3578	12.27	0.4996	45.24	0.6506	18.3562	0.7526
First-stage	221.17	0.4272	15.86	0.5588	184.30	0.2376	18.73	0.6494	1.72	0.0043	37.88	0.9887
DehazeDDPM	171.06	0.2994	19.04	0.5922	121.06	0.1624	22.28	0.7309	1.68	0.0041	38.03	0.9895

• dense-haze データセット（Dense-Haze および NH-HAZE）で最先端の性能を達成し、synthetic SOTS でも競争的な結果を示す。
• 先行法と比べて知覚的指標（FID、LPIPS）および歪み指標（PSNR、SSIM）の顕著な改善。
• 第一段 ASM ベースの推定は hazy データ分布を clear データに近づけ、DDPM への fog-aware なガイダンスを提供。
• FDC と CDF は easy 区域および hard 区域の両方の頑健な処理を可能にし、現実世界の hazy シーンでの復元忠実度を向上。
• frequency-prior loss は高周波ディテールを強調し、よりシャープな dehazed 出力を支援。

Figure 2: Statistics illustration of the haze-induced information loss, including t-SNE clustering [ 14 ] , distribution distance, histogram, gradient, entropy, and standard deviation. The dense haze causes massive information loss in content and color.