[논문 리뷰] Unpaired Deep Image Deraining Using Dual Contrastive Learning

Xiang Chen, Jinshan Pan외 6명|arXiv (Cornell University)|2021. 09. 07.

Image Enhancement Techniques인용 수 15

한 줄 요약

이 논문은 쌍화되지 않은 훈련 데이터 없이도 비를 제거하는 데 성능을 향상시키기 위해 깊이 있는 특징 공간에서 이중 대비 학습을 활용하는 새로운 비쌍화된 딥 이미지 비제거 프레임워크인 DCD-GAN을 제안한다. 이중 번역 브랜치(Bidirectional Translation Branch)를 통해 적대적 예시를 생성하고, 대비 지도 브랜치(Contrastive Guidance Branch)를 통해 유사한 특징을 정렬하면서도 비유사한 특징은 분리함으로써, 합성 및 실세계 데이터셋 모두에서 최신 기술 수준의 성능을 달성하며, 기존의 비쌍화된 방법들을 능가하고 완전히 지도 학습된 모델에 가까운 성능을 보인다.

ABSTRACT

Learning single image deraining (SID) networks from an unpaired set of clean and rainy images is practical and valuable as acquiring paired real-world data is almost infeasible. However, without the paired data as the supervision, learning a SID network is challenging. Moreover, simply using existing unpaired learning methods (e.g., unpaired adversarial learning and cycle-consistency constraints) in the SID task is insufficient to learn the underlying relationship from rainy inputs to clean outputs as there exists significant domain gap between the rainy and clean images. In this paper, we develop an effective unpaired SID adversarial framework which explores mutual properties of the unpaired exemplars by a dual contrastive learning manner in a deep feature space, named as DCD-GAN. The proposed method mainly consists of two cooperative branches: Bidirectional Translation Branch (BTB) and Contrastive Guidance Branch (CGB). Specifically, BTB exploits full advantage of the circulatory architecture of adversarial consistency to generate abundant exemplar pairs and excavates latent feature distributions between two domains by equipping it with bidirectional mapping. Simultaneously, CGB implicitly constrains the embeddings of different exemplars in the deep feature space by encouraging the similar feature distributions closer while pushing the dissimilar further away, in order to better facilitate rain removal and help image restoration. Extensive experiments demonstrate that our method performs favorably against existing unpaired deraining approaches on both synthetic and real-world datasets, and generates comparable results against several fully-supervised or semi-supervised models.

연구 동기 및 목표

• 쌍화되지 않은 실제 비가 내린 이미지와 청소년 이미지 데이터가 없는 단일 이미지 비제거(SID) 문제를 해결하기 위해.
• 깊이 있는 특징 공간에서 상호 특징 관계를 학습하여 비가 내린 이미지와 청소년 이미지 분포 간의 도메인 갭을 줄이기 위해.
• 쌍화되지 않은 청소년 이미지를 특징 가이던스의 원천으로 활용하여 비제거 성능을 향상시키기 위해.
• 객체 검출과 같은 후속 비전 작업에 대한 교차 도메인 일반화 능력과 실용성을 향상시키기 위해.

제안 방법

• 사이클 일관성 번역을 통해 다양한 예시 쌍을 생성하기 위한 이중 브랜치 적대적 프레임워크인 이중 번역 브랜치(Bidirectional Translation Branch, BTB)를 도입한다.
• 유사한 특징 분포(예: 대응 패치)를 깊이 있는 특징 공간에서 가까이 모으고, 비유사한 특징은 떨어지게 하기 위해 대비 학습을 사용하는 대비 지도 브랜치(Contrastive Guidance Branch, CGB)를 활용한다.
• 쌍화되지 않은 지도 없이도 비가 내린 이미지와 청소년 이미지의 특징 간 상호 정보를 증진시키기 위해 이중 대비 학습 전략을 사용한다.
• 부정 샘플의 다양성을 높이고 강건성을 향상시키기 위해 실세계 비가 내린 이미지를 혼합 훈련 데이터에 통합한다.
• 훈련 안정성 향상과 특징 분리도 향상을 위해 적대적 일관성과 대비 정규화를 동시에 활용한다.
• 국소 패치 수준의 특징을 도메인 간에 정렬하기 위해 다중 척도 대비 손실을 적용하여 세밀한 복원 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 쌍화되지 않은 비가 내린 이미지와 청소년 이미지 간 도메인 갭을 메우기 위해 깊이 있는 특징 공간에서의 대비 학습이 효과적으로 기능할 수 있는가?
• RQ2 쌍화되지 않은 청소년 이미지를 어떤 지도 없이도 비제거에 효과적으로 활용할 수 있는가?
• RQ3 기존의 사이클 일관성 또는 적대적 방법에 비해 이중 대비 학습은 비쌍화된 비제거에서 교차 도메인 일반화 능력을 향상시키는가?
• RQ4 쌍화된 데이터 없이도 제안된 방법이 완전히 지도 학습된 모델과 유사한 성능을 달성할 수 있는가?

주요 결과

• DCD-GAN은 쌍화된 훈련 데이터를 전혀 사용하지 않음에도 불구하고, 합성 데이터셋(Rain100L, Rain100B 등)과 실세계 데이터셋(Test100, Test1200 등) 모두에서 최신 기술 수준의 성능을 달성한다.
• qualitative 비교와 PSNR, SSIM 등의 정량적 지표를 통해, CycleGAN 및 DCLGAN에 비해 빗줄기의 감소가 뚜렷하고 이미지 세부 정보 보존 능력이 뛰어나다.
• 실세계 Test100 데이터셋에서 DCD-GAN은 PSNR 29.41 dB, SSIM 0.872를 기록하여 기존의 비쌍화된 방법들을 능가한다.
• Google Vision API를 통한 인식 신뢰도 점수 분석 결과, 비제거된 이미지에서 객체 검출 성능이 향상됨을 입증하였다.
• DCD-GAN 출력물에서는 빗줄기 탐지에 대한 평균 신뢰도가 크게 감소하여 효과적인 비 제거가 이루어졌음을 시사한다.
• DCD-GAN은 테스트 시 미리 학습되지 않은 실세계 데이터셋에서도 높은 성능을 유지하며, 미세조정 없이도 강력한 교차 도메인 일반화 능력을 보였다.