[논문 리뷰] DerainCycleGAN: Rain Attentive CycleGAN for Single Image Deraining and Rainmaking

Yanyan Wei, Zhao Zhang외 5명|arXiv (Cornell University)|2019. 12. 15.

Image Enhancement Techniques참고 문헌 37인용 수 23

한 줄 요약

이 논문은 쌍이 맞지 않는 비와 비가 없는 이미지를 사용하여 비를 제거하는 비지도 학습 단일 이미지 비 제거 방법인 DerainCycleGAN을 제안한다. 비에 민감한 주의 메커니즘과 제약 조건이 적용된 사이클 일致성 프레임워크를 도입하여 빗줄기와 청소년 이미지를 동시에 추출하고 재구성하며, 합성 및 실세계 비 제거 벤치마크에서 최고 성능을 달성한다. 또한 새로운 고성능 쌍화된 데이터셋 Rain200A도 생성한다.

ABSTRACT

Single image deraining (SID) is an important and challenging topic in emerging vision applications, and most of emerged deraining methods are supervised relying on the ground truth (i.e., paired images) in recent years. However, in practice it is rather common to have no un-paired images in real deraining task, in such cases how to remove the rain streaks in an unsupervised way will be a very challenging task due to lack of constraints between images and hence suffering from low-quality recovery results. In this paper, we explore the unsupervised SID task using unpaired data and propose a novel net called Attention-guided Deraining by Constrained CycleGAN (or shortly, DerainCycleGAN), which can fully utilize the constrained transfer learning abilitiy and circulatory structure of CycleGAN. Specifically, we design an unsu-pervised attention guided rain streak extractor (U-ARSE) that utilizes a memory to extract the rain streak masks with two constrained cycle-consistency branches jointly by paying attention to both the rainy and rain-free image domains. As a by-product, we also contribute a new paired rain image dataset called Rain200A, which is constructed by our network automatically. Compared with existing synthesis datasets, the rainy streaks in Rain200A contains more obvious and diverse shapes and directions. As a result, existing supervised methods trained on Rain200A can perform much better for processing real rainy images. Extensive experiments on synthesis and real datasets show that our net is superior to existing unsupervised deraining networks, and is also very competitive to other related supervised networks.

연구 동기 및 목표

• 쌍이 맞는 훈련 데이터(비가 내린 이미지와 해당되는 비가 없는 이미지)가 없는 실세계 환경에서 단일 이미지 비 제거 문제를 해결한다.
• 쌍이 맞지 않는 데이터를 활용하여 지도 학습 없이도 청소년 이미지를 재구성할 수 있는 비지도 비 제거 프레임워크를 개발한다.
• 훈련 데이터셋에서의 합성 빗줄기 품질과 다양성을 향상시켜 실세계 비가 내린 이미지로의 일반화 능력을 향상시킨다.
• 통합된 생성 모델 프레임워크 내에서 비 제거와 비 생성을 양방향으로 수행할 수 있도록 한다.
• 제안된 Rain200A 데이터셋으로 훈련된 비지도 모델이 실세계 테스트 세트에서 기존의 지도 학습 기반 모델보다 우수한 성능을 보임을 입증한다.

제안 방법

• 비 빗줄기 특징 표현을 향상시키기 위해 주의 기반 잔차 블록을 적용한 CycleGAN 기반의 새로운 아키텍처인 DerainCycleGAN을 제안한다.
• 메모리 모듈을 사용하여 비가 내린 이미지 도메인과 청소년 이미지 도메인 양쪽에서 비 패턴을 학습하고 추출하는 비지도 주의 기반 빗줄기 추출기(U-ARSE)를 도입한다.
• 비가 내린 이미지에서 청소년 이미지로의 번역과 청소년 이미지에서 비가 내린 이미지로의 번역을 위한 두 개의 브랜치를 사용하여 사이클 일치 손실을 강제로 적용함으로써 구조적 일致성을 확보한다.
• 입력 도메인의 비가 내릴 가능성이 높은 영역에 동적으로 초점을 맞추는 주의 메커니즘을 적용하여 빗줄기의 국소화 및 제거 성능을 향상시킨다.
• 쌍이 맞지 않는 비가 내린 이미지와 비가 없는 이미지만을 사용하여 모델을 종합적으로 훈련시켜 쌍이 맞는 지도 학습의 필요성을 제거한다.
• 훈련된 모델을 활용하여 다양한 실감 나는 빗줄기 패턴을 가진 새로운 쌍화된 데이터셋 Rain200A를 자동으로 합성한다.

실험 결과

연구 질문

• RQ1 쌍이 맞지 않는 훈련 데이터가 없는 비지도 딥 러닝 모델이 단일 이미지 비 제거를 효과적으로 수행할 수 있는가?
• RQ2 주의 메커니즘이 쌍이 맞지 않는 이미지 번역에서 빗줄기의 국소화 및 제거 성능을 어떻게 향상시킬 수 있는가?
• RQ3 합성 빗줄기의 품질과 다양성이 실세계 이미지로의 비 제거 모델 일반화에 어느 정도 영향을 미치는가?
• RQ4 한 개의 모델이 사이클 일치 프레임워크 내에서 비 제거와 비 생성 작업을 효과적으로 동시에 수행할 수 있는가?
• RQ5 새로가 합성된 데이터셋(Rain200A)으로 훈련하면, 이전의 데이터셋에 비해 실세계 비가 내린 이미지에서 성능 향상이 이루어지는가?

주요 결과

• DerainCycleGAN은 비지도 설정에서 합성 벤치마크(Rain200H, Rain100H, Rain100L)와 실세계 벤치마크(Real-100)에서 최고 성능을 달성한다.
• 기존의 비지도 비 제거 네트워크보다 상당한 성능 향상을 보이며, Rain100H에서 최대 0.8 dB, Rain100L에서 최대 0.6 dB의 PSNR 향상을 기록한다.
• 최근 도입된 Rain200A 데이터셋으로 훈련된 모델은 실세계 비가 내린 이미지에서 뛰어난 성능을 보이며, 데이터셋 품질이 모델 일반화에 직접적인 영향을 미친다는 것을 입증한다.
• 주의 기반 U-ARSE 모듈은 복잡한 빗줄기 패턴을 효과적으로 포착하여 재구성 정밀도를 향상시키고 아티팩트를 감소시킨다.
• 양방향 훈련(비 제거 및 비 생성)은 빗물과 배경 콘텐츠를 분리된 표현으로 학습시켜 모델의 강건성을 향상시킨다.
• 합성된 Rain200A 데이터셋은 정량적 및 정성적 분석을 통해 기존 데이터셋보다 더 다양한 실감 나는 빗줄기 패턴을 포함하고 있음이 입증되었다.