[논문 리뷰] Toward Real-world Single Image Deraining: A New Benchmark and Beyond

Wei Li, Qiming Zhang외 4명|arXiv (Cornell University)|2022. 06. 11.

Image Enhancement Techniques인용 수 8

한 줄 요약

이 논문은 1,120개의 고해상도, 공간적으로 정렬된 클리어-비 오리지널 이미지 쌍을 포함한 고품질의 실세계 단일 이미지 비제거 데이터셋인 RealRain-1k와 실제 비 줄무늬 층을 사용해 생성한 대규모 합성 데이터셋인 SynRain-13k를 소개한다. 저자는 감독 학습, 도메인 일반화, 전이 학습의 세 가지 트랙에서 10개 이상의 최신 비제거 모델을 벤치마킹하여, SynRain-13k에서 사전 훈련된 모델이 이전의 합성 데이터셋에서 사전 훈련된 모델보다 뛰어난 성능을 보임을 입증함으로써, 이 데이터셋이 실세계 일반화 및 모델의 강건성에 기여할 가치가 있음을 검증한다.

ABSTRACT

Single image deraining (SID) in real scenarios attracts increasing attention in recent years. Due to the difficulty in obtaining real-world rainy/clean image pairs, previous real datasets suffer from low-resolution images, homogeneous rain streaks, limited background variation, and even misalignment of image pairs, resulting in incomprehensive evaluation of SID methods. To address these issues, we establish a new high-quality dataset named RealRain-1k, consisting of $1,120$ high-resolution paired clean and rainy images with low- and high-density rain streaks, respectively. Images in RealRain-1k are automatically generated from a large number of real-world rainy video clips through a simple yet effective rain density-controllable filtering method, and have good properties of high image resolution, background diversity, rain streaks variety, and strict spatial alignment. RealRain-1k also provides abundant rain streak layers as a byproduct, enabling us to build a large-scale synthetic dataset named SynRain-13k by pasting the rain streak layers on abundant natural images. Based on them and existing datasets, we benchmark more than 10 representative SID methods on three tracks: (1) fully supervised learning on RealRain-1k, (2) domain generalization to real datasets, and (3) syn-to-real transfer learning. The experimental results (1) show the difference of representative methods in image restoration performance and model complexity, (2) validate the significance of the proposed datasets for model generalization, and (3) provide useful insights on the superiority of learning from diverse domains and shed lights on the future research on real-world SID. The datasets will be released at https://github.com/hiker-lw/RealRain-1k

연구 동기 및 목표

• 기존 실세계 비제거 데이터셋의 한계를 해결하기 위해, 저해상도, 균일한 비 줄무늬, 배경 다양성 부족, 공간적 비정렬 문제를 해결하고자 한다.
• 다양한 비 강도와 배경을 가진 실제 복잡한 상황에서 단일 이미지 비제거(SID) 모델을 평가하기 위한 고품질 벤치마크를 구축하고자 한다.
• 완전 감독 학습, 도메인 일반화, 전이 학습과 같은 다양한 학습 철학에서 기존 SID 방법의 성능 및 일반화 능력을 조사하고자 한다.
• 실제 비 줄무늬 층을 활용한 합성 데이터셋이 실세계 비 이미지로의 일반화 능력을 향상시키는 데 얼마나 효과적인지 탐구하고자 한다.

제안 방법

• 저자는 실세계 장면에서 1,120개의 고해상도 비 영상 클립을 수집하여, 비 강도 제어 가능한 필터링 방법을 사용해 클리어 및 비 오리지널 이미지 쌍을 생성한다.
• 선형 중첩 모델을 반전시켜 클리어 및 비 오리지널 이미지 간의 엄격한 공간 정렬을 확보함으로써 정확한 쌍 생성을 가능하게 한다.
• 생성된 이미지 트리플릿(클리어, 가벼운 비, 강한 비)에서 실세계 비 줄무늬 층을 부산물로 추출하여 데이터 증강에 활용한다.
• 이러한 실세계 비 줄무늬 층을 사용해 13,000개의 다양한 자연 이미지에 붙여 SynRain-13k를 구축함으로써, 실세계 비 이미지와의 도메인 갭을 감소시킨다.
• 감독 학습(RealRain-1k에서), 실세계 및 합성 데이터셋 간의 도메인 일반화, 합성 데이터에서 실세계 데이터로의 전이 학습의 세 가지 학습 트랙에서 10개 이상의 대표적인 SID 모델을 평가한다.
• 모델 평가에는 성능 및 효율성 평가를 위한 PSNR, SSIM, 추론 지연, FLOPs, 메모리 프로파일 등을 포함한다.

실험 결과

연구 질문

• RQ1 복잡한 배경과 다양한 비 강도를 가진 고해상도, 다양한 실세계 비 이미지에서 기존 SID 방법은 어떤 성능을 보이는가?
• RQ2 합성 또는 실세계 데이터에서 훈련된 SID 모델이 실세계의 새로운 데이터셋에 얼마나 잘 일반화되는가?
• RQ3 실제 비 줄무늬 층을 포함한 대규모 합성 데이터셋에서 사전 훈련하는 것이 실세계 비 이미지에서의 성능 향상에 어느 정도 기여하는가?
• RQ4 현대의 CNN 및 트랜스포머 기반 아키텍처에서 비제거 성능와 모델 복잡성 간의 상충 관계는 어떠한가?

주요 결과

• SynRain-13k에서 사전 훈련된 모델은 Rain13k에서나 사전 훈련 없이 훈련된 모델보다 RealRain-1k-H에서 유의미하게 높은 PSNR와 SSIM 성능를 기록한다 (예: Restormer은 41.88 dB PSNR 및 0.9872 SSIM 달성).
• RealRain-1k-L에서 미세조정된 MPRNet 모델은 41.35 dB PSNR 및 0.9867 SSIM 성능를 기록하며, 합성에서 실세계로, 실세계에서 실세계로의 도메인 일반화 설정에서 모두 성능이 뛰어나다.
• HINet는 512×512 이미지에서 88.666M 파라미터와 826.86ms 지연 시간을 가짐에도 불구하고 뛰어난 성능를 보이며, 모델 복잡성과 복원 품질 간의 상충 관계를 잘 보여준다.
• 결과는 RealRain-1k에서 훈련된 모델가 RainDS나 SPA-data에서 훈련된 모델보다 더 나은 일반화 능력을 보이며, 이는 데이터셋의 품질과 다양성을 검증한다.
• SynRain-13k에서의 전이 학습은 사전 훈련 없이 훈련하거나 이전의 합성 데이터셋을 사용하는 것보다 뛰어난 결과를 도출하며, 실세계 비 줄무늬 기반 데이터 증강의 가치를 입증한다.
• 연구 결과는 훈련 및 테스트 세트 간 배경 겹침(예: SPA-data에서 관찰됨)이 성능 평가를 과도하게 유리하게 만들 수 있으며, 평가에서 도메인 다양성의 중요성을 강조한다.