[논문 리뷰] Closing the Loop: Joint Rain Generation and Removal via Disentangled Image Translation

Yuntong Ye, Yi Chang외 2명|arXiv (Cornell University)|2021. 03. 25.

Image Enhancement Techniques참고 문헌 41인용 수 6

한 줄 요약

이 논문은 합성 빗방울과 실제 빗방울 간의 도메인 갭을 보완하기 위해 분리된 이미지 번역을 사용하는 통합 빗방울 생성 및 제거 프레임워크를 제안한다. 빗방울 이미지를 청소된 배경과 빗방울 레이어로 분해함으로써, 사이클 일致성과 적대적 손실을 활용한 이중 방향 번역이 가능해지며, 실제 빗방울에 대한 일반화 능력이 크게 향상되고 정체성 유지 및 자연스러운 결과를 생성한다.

ABSTRACT

Existing deep learning-based image deraining methods have achieved promising performance for synthetic rainy images, typically rely on the pairs of sharp images and simulated rainy counterparts. However, these methods suffer from significant performance drop when facing the real rain, because of the huge gap between the simplified synthetic rain and the complex real rain. In this work, we argue that the rain generation and removal are the two sides of the same coin and should be tightly coupled. To close the loop, we propose to jointly learn real rain generation and removal procedure within a unified disentangled image translation framework. Specifically, we propose a bidirectional disentangled translation network, in which each unidirectional network contains two loops of joint rain generation and removal for both the real and synthetic rain image, respectively. Meanwhile, we enforce the disentanglement strategy by decomposing the rainy image into a clean background and rain layer (rain removal), in order to better preserve the identity background via both the cycle-consistency loss and adversarial loss, and ease the rain layer translating between the real and synthetic rainy image. A counterpart composition with the entanglement strategy is symmetrically applied for rain generation. Extensive experiments on synthetic and real-world rain datasets show the superiority of proposed method compared to state-of-the-arts.

연구 동기 및 목표

• 딥러닝 기반 빗방울 제거 방법에서 합성 빗방울과 실제 빗방울 간의 도메인 갭을 해소한다.
• 합성 빗방울 생성 및 제거를 동시에 학습시켜 실제 빗방울 이미지에 대한 일반화 능력을 향상시킨다.
• 청결한 배경과 빗방울 레이어로 분리하여 빗방울 제거 과정에서 배경 정체성을 유지한다.
• 데이터로부터 물리적 열화를 암묵적으로 학습함으로써 합성 빗방울과 실제 빗방울 간의 갭을 메운다.
• 생성 및 제거 작업 간 상호 최적화를 통해 실제 빗방울에 대한 성능을 향상시킨다.

제안 방법

• 실제 빗방울과 합성 빗방울 간 번역을 위한 양방향 분리 번역 네트워크를 제안하며, 양방향 브랜치를 각각 활용한다.
• 빗방울 이미지를 청소된 배경과 빗방울 레이어로 분해하여 정체성 유지와 빗방울 번역을 분리한다.
• 사이클 일치성과 적대적 손실을 적용하여 배경 정체성 유지와 현실적인 번역을 강제한다.
• 이중 단계 학습: 각 방향에서 빗방울 제거 → 빗방울 생성 순서로 진행하여 닫힌 루프를 형성한다.
• 양방향으로 대칭적으로 분리 기법을 적용한다: 빗방울이 있는 이미지에서 청결한 이미지로의 제거, 청결한 이미지에서 빗방울이 있는 이미지로의 생성.
• t-SNE를 통한 특징 수준의 정렬을 활용하여 도메인 간 빗방울 레이어 번역의 효과를 검증한다.

Figure 1: Illustration of rain generation and removal. (a) The hand-crafted simplified rain generation model. (b) Although the simulated rain has been well removed, the huge gap between synthetic training images and real-world testing images leads a significant performance drop in existing learning-

실험 결과

연구 질문

• RQ1 합성 빗방울 생성 및 제거를 동시에 학습시키는 것이 실제 빗방울 이미지에 대한 일반화 능력을 향상시키는가?
• RQ2 배경과 빗방울 레이어를 분리함으로써 정체성 유지 및 번역 품질이 향상되는가?
• RQ3 양방향 번역을 갖는 통합 프레임워크가 합성 빗방울과 실제 빗방울 간의 도메인 갭을 줄이는가?
• RQ4 CycleGAN과 비교해 JRGR가 배경 유지 및 자연스러운 빗방울 생성에서 어떤가?
• RQ5 실제 데이터로부터 물리적 열화를 엔드 투 엔드로 학습시키는 것이 빗방울 제거 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 합성 및 실제 빗방울 데이터셋 모두에서 최신 기술(SOTA) 수준의 성능을 달성하며, 기존 SOTA 방법을 초월한다.
• 모델은 양방향으로 입력 이미지를 성공적으로 재구성하여 강력한 사이클 일치성과 정체성 유지 능력을 입증한다.
• t-SNE 시각화 결과, 번역 후 합성 및 실제 빗방울 레이어 특징 간 효과적인 정렬이 이루어짐을 확인한다.
• CycleGAN과 비교해 JRGR는 배경을 유지하면서 빗방울 레이어 번역에 집중함으로써 더 자연스러운 결과를 생성한다.
• 학습 및 테스트 배경이 유사할 경우 성능이 가장 우수하며, 이는 내부 도메인 변동성에 대한 한계를 시사한다.
• 도시와 숲 등 배경 특성이 크게 다른 경우 실패가 발생함을 확인하여 종합적인 데이터셋의 필요성을 강조한다.

Figure 2: Overview of the proposed joint rain generation and removal (JRGR) framework. The proposed method consists of synthetic to real (S2R) and real to synthetic (R2S) modules, aiming to bridge the gap between synthetic and real rainy images. Instead of the directly translating, we embed the rain