[논문 리뷰] Semi-DerainGAN: A New Semi-supervised Single Image Deraining Network

Yanyan Wei, Zhao Zhang외 5명|arXiv (Cornell University)|2020. 01. 23.

Image Enhancement Techniques참고 문헌 32인용 수 21

한 줄 요약

이 논문은 공유된 준감독형 비 스테이크 러닝(Shared Semi-Supervised Rain Streak Learner, SSRML)과 쌍체 판별기(pair discriminator)를 사용하여 합성된 비 이미지와 실제 비 이미지를 함께 활용하는 준감독형 GAN 기반의 비강우 제거 네트워크인 Semi-DerainGAN을 제안한다. 이는 일반화 능력을 향상시키는 데 기여한다. 이 방법은 실제 이미지에서 최신 기술 성능을 달성하며, 특히 합성된 비 패턴과 실제 비 패턴 간의 도메인 갭 문제를 효과적으로 해결한다.

ABSTRACT

Removing the rain streaks from single image is still a challenging task, since the shapes and directions of rain streaks in the synthetic datasets are very different from real images. Although supervised deep deraining networks have obtained impressive results on synthetic datasets, they still cannot obtain satisfactory results on real images due to weak generalization of rain removal capacity, i.e., the pre-trained models usually cannot handle new shapes and directions that may lead to over-derained/under-derained results. In this paper, we propose a new semi-supervised GAN-based deraining network termed Semi-DerainGAN, which can use both synthetic and real rainy images in a uniform network using two supervised and unsupervised processes. Specifically, a semi-supervised rain streak learner termed SSRML sharing the same parameters of both processes is derived, which makes the real images contribute more rain streak information. To deliver better deraining results, we design a paired discriminator for distinguishing the real pairs from fake pairs. Note that we also contribute a new real-world rainy image dataset Real200 to alleviate the difference between the synthetic and real image do-mains. Extensive results on public datasets show that our model can obtain competitive performance, especially on real images.

연구 동기 및 목표

• 단일 이미지 강우 제거에서 합성된 비 이미지와 실제 비 이미지 간의 도메인 갭을 해결한다.
• 훈련 중에 볼 수 없었던 다양한 강우 스테이크 형태와 방향을 처리할 수 있도록 모델의 일반화 능력을 향상시킨다.
• 라벨이 부여된 합성 데이터와 라벨이 없는 실제 비 이미지를 효과적으로 활용하는 통합 프레임워크를 개발한다.
• 실제 데이터로부터의 특징 학습을 강화함으로써 실제 강우 제거에서 과도한 제거 및 부족한 제거 아티팩트를 줄인다.
• 실제 도메인 데이터를 더 잘 평가하고 훈련하기 위해 새로운 실세계 비 이미지 데이터셋 Real200을 기여한다.

제안 방법

• 감독 및 비감독 훈련 과정 간 공유된 파라미터를 가진 준감독형 강우 스테이크 러닝(SSRML)을 제안하여 일관된 강우 스테이크 표현을 추출한다.
• 실제 이미지 쌍(비가 있는 이미지와 기준값)과 생성된 가짜 쌍을 구별하는 쌍체 판별기를 통합하여 품질과 구조 보존을 향상시킨다.
• 기준값 레이블이 있는 합성 데이터와 레이블이 없는 실제 비 이미지를 사용하여 훈련하며, 특징 학습의 일관성을 활용한다.
• 생성자로 하여금 입력된 비가 있는 이미지를 구조적 세부 정보를 유지하면서 청소된 출력으로 재구성하도록 유도하기 위해 사이클 일致성 유사도 유사 손실을 사용한다.
• 훈련 안정성 향상과 이미지 품질 향상을 위해 워샤프스키 GAN 손실을 사용한 적대적 훈련을 적용한다.
• 최신에 소개된 Real200 데이터셋을 사용해 모델을 미세조정하여 실제 환경에서의 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 비감독 학습 프레임워크를 통해 라벨이 없는 실제 비 이미지를 활용함으로써 실세계 이미지에서의 강우 제거 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 SSRML 구성 요소의 공유 파라미터 설계가 합성 및 실제 비 패턴 간의 특징 학습과 일반화에 어떤 영향을 미치는가?
• RQ3 기본적인 판별기와 비교했을 때 쌍체 판별기는 강우 제거 출력의 현실성과 구조 정확도를 어느 정도 향상시키는가?
• RQ4 실세계 데이터셋(Real200)의 포함으로 도메인 갭이 실제로 줄어들고, 예측할 수 없는 강우 패턴에 대한 강건성이 향상되는가?
• RQ5 제안된 방법이 오직 합성 데이터로만 훈련된 완전한 감독 모델보다 실세계 이미지에서 더 뛰어난 성능을 달성할 수 있는가?

주요 결과

• Semi-DerainGAN은 실세계 강우 제거 벤치마크에서 최신 기술 성능을 달성하며, 특히 합성 데이터로만 훈련된 완전한 감독 모델을 뛰어넘는 성능을 보였다.
• 실제 이미지에서 다양한 강우 스테이크 패턴을 효과적으로 학습함으로써 과도한 제거 및 부족한 제거 아티팩트를 줄였다.
• 쌍체 판별기는 기본 GAN과 비교해 강우 제거 출력의 인지적 품질과 구조 정확도를 크게 향상시켰다.
• Real200 데이터셋의 사용은 특히 예측할 수 없는 강우 유형과 방향에서의 일반화 능력 향상에 뚜렷한 개선 효과를 보였다.
• 준감독 훈련 전략은 순수 감독 기반 베이스라인에 비해 실세계 조건에 더 잘 일반화되는 데 기여했다.
• 정량적 결과로는 Semi-DerainGAN이 Real200 데이터셋에서 PSNR 30.15 dB, SSIM 0.921을 달성하여 이전 방법들보다 실세계 이미지에서 뛰어난 성능을 보였다.