[논문 리뷰] Curricular Contrastive Regularization for Physics-aware Single Image Dehazing

Yu Zheng, Jiahui Zhan외 3명|arXiv (Cornell University)|2023. 03. 24.

Image Enhancement Techniques인용 수 20

한 줄 요약

Curricular Contrastive Regularization(C2R)과 합의된 음수 및 물리학 인식 이중 분기 단위를 도입하여 C2PNet을 형성하고 합성 및 실제 데이터 세트에서 최첨단 대기 현상 제거 성능을 달성한다.

ABSTRACT

Considering the ill-posed nature, contrastive regularization has been developed for single image dehazing, introducing the information from negative images as a lower bound. However, the contrastive samples are nonconsensual, as the negatives are usually represented distantly from the clear (i.e., positive) image, leaving the solution space still under-constricted. Moreover, the interpretability of deep dehazing models is underexplored towards the physics of the hazing process. In this paper, we propose a novel curricular contrastive regularization targeted at a consensual contrastive space as opposed to a non-consensual one. Our negatives, which provide better lower-bound constraints, can be assembled from 1) the hazy image, and 2) corresponding restorations by other existing methods. Further, due to the different similarities between the embeddings of the clear image and negatives, the learning difficulty of the multiple components is intrinsically imbalanced. To tackle this issue, we customize a curriculum learning strategy to reweight the importance of different negatives. In addition, to improve the interpretability in the feature space, we build a physics-aware dual-branch unit according to the atmospheric scattering model. With the unit, as well as curricular contrastive regularization, we establish our dehazing network, named C2PNet. Extensive experiments demonstrate that our C2PNet significantly outperforms state-of-the-art methods, with extreme PSNR boosts of 3.94dB and 1.50dB, respectively, on SOTS-indoor and SOTS-outdoor datasets.

연구 동기 및 목표

• 대화식 코어를 활용한 대기 현상 제거에서 합의된 음수를 사용하여 해결 공간을 더 촘촘하게 만들고자 한다.
• 피처 공간에 물리 priors를 이중 분기 유닛을 통해 도입하여 해석 가능성을 높인다.
• 커리큘러 대조 정규화와 물리 인식 피처 모델링을 결합한 네트워크(C2PNet)를 제안하여 대기 현상 제거 성능을 향상시킨다.

제안 방법

• 합의된 음수로 구성된 Curricular Contrastive Regularization(C2R)을 제안하며, 이는 복원 방식이 다른 방법들로부터 얻어진 흐림 입력과 복원 결과를 포함한다.
• 커리큘럼을 도입하여 음수를 쉬움/어려움/초어려움으로 가중하고 학습 과정에서 그들의 난이도를 동적으로 조정한다.
• 피처 공간에서 대기광 A와 전파율 T를 분리하기 위해 대기 산란 모델에서 영감을 얻은 물리학 인식 이중 분기 단위(PDU)를 설계한다.
• 물리학 일관 latent 깨끗한 이미지를 합성하기 위해 PDU를 cascaded 백본(FFA-Net 유사) 내에 삽입한다.
• 총 손실을 L = L1(J, f(I;θ)) + λ R*로 표현하고, R*는 커리큘러 대조 정규화이다.
• 합의된 음수와 동적 난이도 가중치를 가진 커리큘러 대조 정규화가 비동의CR 및 자기 주도형 변형에 비해 상당한 개선을 달성한다.
• C2PNet이 합성 및 실제 데이터 세트에서 SOTA를 능가한다는 것을 실증하고 PSNR 이점이 뚜렷하다.

실험 결과

연구 질문

• RQ1 합의된 음수가 비합의 음수에 비해 대기 제거의 정규화 한계를 어떻게 개선하는가?
• RQ2 커리큘럼 학습과 동적 가중치가 흐림 이미지 복원에서 대조 정규화의 효과를 향상시키는가?
• RQ3 피처 공간에 물리학에서 영감을 얻은 이중 분기 유닛을 통합하면 해석 가능성과 복원 품질이 향상되는가?
• RQ4 C2PNet가 합성 및 실제 흐림 데이터 세트에서 기존의 최첨단 방법들과 어떻게 비교되는가?

주요 결과

방법	장소&연도	SOTS-indoor PSNR	SOTS-indoor SSIM	SOTS-outdoor PSNR	SOTS-outdoor SSIM	Dense-Haze PSNR	Dense-Haze SSIM	NH-Haze2 PSNR	NH-Haze2 SSIM	#Params
DCP	TPAMI2010	16.62	0.8179	19.13	0.8148	11.01	0.4165	11.68	0.6475	-
DehazeNet	TIP2016	21.14	0.8472	22.46	0.8514	9.48	0.4383	11.77	0.6217	0.01M
AODNet	ICCV2017	19.06	0.8504	20.29	0.8765	12.82	0.4683	12.33	0.6311	0.002M
DM2F-Net	ICCV2019	34.29	0.9728	34.50	0.9815	14.99	0.5640	20.46	0.8217	92.14M
GCANet	WACV2019	30.06	0.9596	22.76	0.8887	12.62	0.4208	18.79	0.7729	0.70M
GDN	ICCV2019	32.16	0.9836	30.86	0.9819	14.96	0.5326	19.26	0.8046	0.96M
MSBDN	CVPR2020	32.77	0.9812	34.81	0.9857	15.13	0.5551	20.11	0.8004	31.35M
FFA-Net	AAAAI2020	36.39	0.9886	33.57	0.9840	12.22	0.4440	20.00	0.8225	4.46M
AECR-Net	CVPR2021	37.17	0.9901	-	-	15.80	0.4660	20.68	0.8282	2.61M
MAXIM-2S	CVPR2022	38.11	0.9908	34.19	0.9846	-	-	-	-	14.1M
DeHamer	CVPR2022	36.63	0.9881	35.18	0.9860	16.62	0.5602	19.18	0.7939	132.45M
UDN	AAAI2022	38.62	0.9909	34.92	0.9871	-	-	-	-	4.25M
C2PNet (Ours)	-	42.56	0.9954	36.68	0.9900	16.88	0.5728	21.19	0.8334	7.17M

• C2PNet은 합성 데이터에서 PSNR 42.56 dB 및 SOTS-indoor에서 0.9954의 SSIM, SOTS-outdoor에서 PSNR 36.68 dB 및 0.9900의 SSIM을 달성한다.
• C2PNet은 SOTS-indoor에서 UDN보다 PSNR 3.94 dB, SSIM 0.0045 더 우수하고 SOTS-outdoor에서도 적어도 PSNR 1.50 dB 이상 우수하다.
• 합의된 음수와 동적 난이도 가중치를 갖는 커리큘러 대조 정규화는 비합의 CR 및 자기 주도형 변형에 비해 현격한 개선을 보인다.
• 물리학 인식 이중 분기 단위(PDU)는 피처 공간에서 대기 광 A와 전달률 t를 분리하여 잠재 피처 표현을 개선하고 FDU 기반 기준선을 능가한다.
• 실세계 데이터 세트(Dense-Haze 및 NH-Haze2)에서 C2PNet은 평가된 방법들 중 최상의 PSNR/SSIM을 달성한다.