[논문 리뷰] Unsupervised Single Image Deraining with Self-supervised Constraints

Xin Jin, Zhibo Chen외 3명|arXiv (Cornell University)|2018. 11. 21.

Image Enhancement Techniques참고 문헌 46인용 수 8

한 줄 요약

이 논문은 쌍화되지 않은 실제 비가 내리는 이미지와 청소년 이미지로부터 자기지도 학습 제약 조건을 활용하여 감독 학습 방법의 한계를 극복하는 비감독 단일 이미지 비 제거 방법인 UD-GAN을 제안한다. 빗방울 가이던스 모듈(RGM), 배경 가이던스 모듈(BGM), 밝기 조절 적대적 손실을 도입함으로써, 쌍화된 훈련 데이터가 필요 없이도 합성 및 실제 세계 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most existing single image deraining methods require learning supervised models from a large set of paired synthetic training data, which limits their generality, scalability and practicality in real-world multimedia applications. Besides, due to lack of labeled-supervised constraints, directly applying existing unsupervised frameworks to the image deraining task will suffer from low-quality recovery. Therefore, we propose an Unsupervised Deraining Generative Adversarial Network (UD-GAN) to tackle above problems by introducing self-supervised constraints from the intrinsic statistics of unpaired rainy and clean images. Specifically, we firstly design two collaboratively optimized modules, namely Rain Guidance Module (RGM) and Background Guidance Module (BGM), to take full advantage of rainy image characteristics: The RGM is designed to discriminate real rainy images from fake rainy images which are created based on outputs of the generator with BGM. Simultaneously, the BGM exploits a hierarchical Gaussian-Blur gradient error to ensure background consistency between rainy input and de-rained output. Secondly, a novel luminance-adjusting adversarial loss is integrated into the clean image discriminator considering the built-in luminance difference between real clean images and derained images. Comprehensive experiment results on various benchmarking datasets and different training settings show that UD-GAN outperforms existing image deraining methods in both quantitative and qualitative comparisons.

연구 동기 및 목표

• 합성된 쌍화된 데이터로 훈련된 감독 학습 비 제거 모델의 일반화 및 확장성 문제를 해결한다.
• 내재된 이미지 통계에서 유도된 자기지도 학습 제약 조건을 도입하여 비감독 학습의 과소정의 문제를 해결한다.
• 비 스타일의 다양성과 배경 일관성을 모델링하여 비감독 비 제거의 품질을 향상시킨다.
• 쌍화된 합성 데이터에 의존하지 않고 실제 환경에서의 실용적 구현을 가능하게 한다.
• 이미지 노이즈 제거 및 동작 인식과 같은 다른 저수준 시각 작업으로의 일반화를 입증한다.

제안 방법

• 쌍화되지 않은 실제 비가 내리는 이미지와 청소년 이미지에서 훈련되는 종단 간 비감독 비 제거 GAN(UD-GAN)을 제안한다.
• 비가 내리는 입력과 복원된 출력 간의 차이를 제약하는 데 목적이 있는 빗방울 가이던스 모듈(RGM)을 도입한다.
• 계층적 가우시안 블러 기반 경로 오차를 사용하여 배경 일관성을 유지하는 배경 가이던스 모듈(BGM)을 활용한다.
• 청결한 이미지 판별기에서 밝기 조절 적대적 손실을 통합하여 실제 청소년 이미지와 복원된 출력 간의 밝기 불일치를 보정한다.
• 훈련 중 스타일과 색상 이탈을 방지하기 위해 경량의 비가 추가된 생성기 사용한다.
• 쌍화되지 않은 데이터의 내재된 통계에서 파생된 자기지도 신호를 활용하여 지도 학습 없이도 훈련을 이끌어낸다.

실험 결과

연구 질문

• RQ1 쌍화된 훈련 데이터 없이도 쌍화되지 않은 실제 비가 내리는 이미지와 청소년 이미지에서 자기지도 학습 제약 조건이 비감독 비 제거를 효과적으로 이끌 수 있는가?
• RQ2 다양한 환경에서 비 스타일의 높은 다양성(방향, 형태, 밀도)을 어떻게 처리할 수 있는가?
• RQ3 특화된 모듈을 통해 비감독 비 제거에서 배경 일관성과 밝기 현실감을 향상시킬 수 있는가?
• RQ4 제안된 방법은 비 제거를 넘어 다른 저수준 이미지 복원 작업으로 일반화되는가?
• RQ5 실제 세계 및 합성 벤치마크에서 감독 및 비감독 기반 모델과의 정량적·정성적 비교에서 어떻게 성능을 내는가?

주요 결과

• UD-GAN은 Rain800, Rain12, Rain100L, Rain100H 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 각각 Rain800, Rain12, Rain100L, Rain100H에서 아블레이션 기반 모델 대비 PSNR 향상 폭이 2.40 dB, 1.13 dB, 0.91 dB, 0.21 dB이다.
• 사용자 평가에서 UD-GAN은 실제 세계 평가에서 120표 중 101표를 확보하여 선명도와 잔상 최소화 면에서 다른 방법들에 비해 뚜렷하게 뛰어난 주관적 선호도를 보였다.
• 완전한 UD-GAN 모델은 512×512 이미지당 평균 0.25초의 추론 시간을 기록하여 다른 실시간 방법과 유사한 성능을 보였다.
• 아블레이션 연구 결과, RGM, BGM 또는 밝기 조절 손실을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여 각 구성 요소의 기여도를 입증하였다.
• UD-GAN은 다른 작업으로도 잘 일반화된다: 노이즈 수준 σ=15, 25, 50일 때 BSD68에서 각각 SSIM 점수 0.8822, 0.8198, 0.7088를 기록하여 DnCNN의 성능을 매칭하거나 초월하였다.
• 정성적 결과에서는 RGM이 잔여 비 스타일을 줄이고, BGM이 텍스처의 풍부함을 향상시키며, 밝기 조정이 시각적 자연스러움을 향상시킴을 확인하였다.