[論文レビュー] Curricular Contrastive Regularization for Physics-aware Single Image Dehazing

Yu Zheng, Jiahui Zhan+3 more|arXiv (Cornell University)|Mar 24, 2023

Image Enhancement Techniques被引用数 20

ひとこと要約

Curricular Contrastive Regularization (C2R) を共通同意のネガティブと物理学を意識したデュアルブランチユニットで導入し、C2PNet を形成。合成データと実データセットで最先端の dehazing 性能を達成。

ABSTRACT

Considering the ill-posed nature, contrastive regularization has been developed for single image dehazing, introducing the information from negative images as a lower bound. However, the contrastive samples are nonconsensual, as the negatives are usually represented distantly from the clear (i.e., positive) image, leaving the solution space still under-constricted. Moreover, the interpretability of deep dehazing models is underexplored towards the physics of the hazing process. In this paper, we propose a novel curricular contrastive regularization targeted at a consensual contrastive space as opposed to a non-consensual one. Our negatives, which provide better lower-bound constraints, can be assembled from 1) the hazy image, and 2) corresponding restorations by other existing methods. Further, due to the different similarities between the embeddings of the clear image and negatives, the learning difficulty of the multiple components is intrinsically imbalanced. To tackle this issue, we customize a curriculum learning strategy to reweight the importance of different negatives. In addition, to improve the interpretability in the feature space, we build a physics-aware dual-branch unit according to the atmospheric scattering model. With the unit, as well as curricular contrastive regularization, we establish our dehazing network, named C2PNet. Extensive experiments demonstrate that our C2PNet significantly outperforms state-of-the-art methods, with extreme PSNR boosts of 3.94dB and 1.50dB, respectively, on SOTS-indoor and SOTS-outdoor datasets.

研究の動機と目的

• dehazing の解空間を狭めるために curriculum contrastive フレームワークで consensual negatives を用いる動機づけ。
• 特徴空間へ物理 priors をデュアルブランチ ユニットを介して組み込み、解釈性を改善。
• curricular contrastive regularization と physics-aware feature modeling を組み合わせて dehazing 性能を向上させるネットワーク（C2PNet）を提案。」,

提案手法

• consensual negatives を hazy inputs および他法での restorations から組み立てる Curricular Contrastive Regularization (C2R) を提案。
• negatives を easy / hard / ultra-hard とウェイト付けし、訓練中に難易度を動的に調整するカリキュラムを導入。
• atmospheric scattering model に触発された Physics-aware Dual-branch Unit (PDU) を設計し、特徴空間で atmosphere light A と transmission T を分離する。
• PDU を cascaded backbone (FFA-Net風) に埋め込み、物理的一貫性のある潜在的に鮮明な画像を合成。
• total loss を L = L1(J, f(I;θ)) + λ R* と定式化し、R* は curricular contrastive regularization。
• C2PNet が synthetic および real データセットで SOTA を上回り、PSNR 増分が顕著であることを示す。

実験結果

リサーチクエスチョン

• RQ1 consensual negatives は非 consensual negatives に比べて dehazing の正則化境界を改善できるか？
• RQ2 curriculum 学習と動的ウェイト付けは hazy 画像復元における対照的正則化の有効性を高めるか？
• RQ3 物理に着想を得たデュアルブランチユニットを特徴空間に統合すると解釈性と復元品質は向上するか？
• RQ4 C2PNet は synthetic および real の hazy データセットで既存の最先端法と比較してどうであるか？

主な発見

Method	Venue&Year	SOTS-indoor PSNR	SOTS-indoor SSIM	SOTS-outdoor PSNR	SOTS-outdoor SSIM	Dense-Haze PSNR	Dense-Haze SSIM	NH-Haze2 PSNR	NH-Haze2 SSIM	#Params
DCP	TPAMI2010	16.62	0.8179	19.13	0.8148	11.01	0.4165	11.68	0.6475	-
DehazeNet	TIP2016	21.14	0.8472	22.46	0.8514	9.48	0.4383	11.77	0.6217	0.01M
AODNet	ICCV2017	19.06	0.8504	20.29	0.8765	12.82	0.4683	12.33	0.6311	0.002M
DM2F-Net	ICCV2019	34.29	0.9728	34.50	0.9815	14.99	0.5640	20.46	0.8217	92.14M
GCANet	WACV2019	30.06	0.9596	22.76	0.8887	12.62	0.4208	18.79	0.7729	0.70M
GDN	ICCV2019	32.16	0.9836	30.86	0.9819	14.96	0.5326	19.26	0.8046	0.96M
MSBDN	CVPR2020	32.77	0.9812	34.81	0.9857	15.13	0.5551	20.11	0.8004	31.35M
FFA-Net	AAAAI2020	36.39	0.9886	33.57	0.9840	12.22	0.4440	20.00	0.8225	4.46M
AECR-Net	CVPR2021	37.17	0.9901	-	-	15.80	0.4660	20.68	0.8282	2.61M
MAXIM-2S	CVPR2022	38.11	0.9908	34.19	0.9846	-	-	-	-	14.1M
DeHamer	CVPR2022	36.63	0.9881	35.18	0.9860	16.62	0.5602	19.18	0.7939	132.45M
UDN	AAAI2022	38.62	0.9909	34.92	0.9871	-	-	-	-	4.25M
C2PNet (Ours)	-	42.56	0.9954	36.68	0.9900	16.88	0.5728	21.19	0.8334	7.17M

• C2PNet は synthetic データで PSA 増分を達成し、SOTS-indoor で 42.56 dB PSNR / 0.9954 SSIM、SOTS-outdoor で 36.68 dB PSNR / 0.9900 SSIM。
• C2PNet は SOTS-indoor で UDN より 3.94 dB PSNR、0.0045 SSIM 上回り、SOTS-outdoor でも少なくとも 1.50 dB PSNR 上回る。
• consensual negatives と動的難易度ウェイト付けを用いた Curricular contrastive regularization は non-consensual CR や self-paced 変種より大幅な改善をもたらす。
• Physics-aware Dual-branch Unit (PDU) は特徴空間で atmosphere light A と transmission t を分離することで潜在的特徴表現を改善し、FDU ベースのベースラインを上回る。
• 実世界データセット（Dense-Haze および NH-Haze2）では、評価対象法の中で C2PNet が最良の PSNR/SSIM を達成。