[논문 리뷰] Spatial Attentive Single-Image Deraining with a High Quality Real Rain Dataset

Tianyu Wang, Xin Yang외 4명|arXiv (Cornell University)|2019. 04. 02.

Image Enhancement Techniques참고 문헌 46인용 수 15

한 줄 요약

이 논문은 시간적 사전 지식과 인간의 감독을 활용하여 영상 시퀀스에서 고품질의 실제 비/클린 이미지 쌍을 반자동으로 생성하는 방법을 제안하며, 약 29.5K쌍의 대규모 데이터셋을 구축한다. 또한 SPANet라는 공간 주의 메커니즘을 갖춘 네트워크를 도입하여 국소에서 전역으로의 특징 학습을 통해 비 줄무늬를 제거하며, 실제 비 환경에서의 파생 평가 기준에서 최신 기술 수준(SOTA)의 성능을 달성하여 PSNR 38.06과 SSIM 0.9867을 기록한다.

ABSTRACT

Removing rain streaks from a single image has been drawing considerable attention as rain streaks can severely degrade the image quality and affect the performance of existing outdoor vision tasks. While recent CNN-based derainers have reported promising performances, deraining remains an open problem for two reasons. First, existing synthesized rain datasets have only limited realism, in terms of modeling real rain characteristics such as rain shape, direction and intensity. Second, there are no public benchmarks for quantitative comparisons on real rain images, which makes the current evaluation less objective. The core challenge is that real world rain/clean image pairs cannot be captured at the same time. In this paper, we address the single image rain removal problem in two ways. First, we propose a semi-automatic method that incorporates temporal priors and human supervision to generate a high-quality clean image from each input sequence of real rain images. Using this method, we construct a large-scale dataset of $\sim$$29.5K$ rain/rain-free image pairs that covers a wide range of natural rain scenes. Second, to better cover the stochastic distribution of real rain streaks, we propose a novel SPatial Attentive Network (SPANet) to remove rain streaks in a local-to-global manner. Extensive experiments demonstrate that our network performs favorably against the state-of-the-art deraining methods.

연구 동기 및 목표

• 실제 비 환경에서의 고품질 학습 데이터 부족 문제를 해결하기 위해 영상 시퀀스에서 실제 비/클린 이미지 쌍을 생성하는 것.
• 형태, 방향, 강도 변화 등 실제 비의 특성을 모델링하지 못하는 합성 데이터셋의 한계를 극복하는 것.
• 기존 평가 기준이 합성 데이터나 정성적 비교에 의존함에 따라 실제 비 이미지에 대한 정량적 평가를 위한 벤치마크를 구축하는 것.
• 단일 이미지 내에서 확률적이고 다양한 외관을 띤 실제 비 줄무늬를 처리할 수 있는 딥 러닝 모델을 설계하는 것.
• 신규로 구축된 실제 비 데이터셋으로 최신 기술 수준의 모델을 훈련시켜 실제 환경 이미지에서의 비 제거 성능을 향상시키는 것.

제안 방법

• 반자동 방법은 비가 같은 픽셀에 오랫동안 유지되지 않는 시간적 사전 지식과 인간의 감독을 활용하여 실제 비 이미지 시퀀스에서 클린 이미지를 복원한다.
• 이 방법은 프레임 간 픽셀 강도의 변동을 활용하여 클린 픽셀을 식별하고 복원함으로써 고해상도의 비/클린 이미지 쌍을 형성한다.
• 새로운 SPANet 아키텍처는 수평 및 수직 이웃 특징을 사용하여 비 줄무늬를 모델링한 후 비국소적 문맥 정보를 통합하는 공간 주의 모듈(SAMs)을 활용한다.
• SPANet는 다중 스케일, 공유 가중치 공간 주의 메커니즘을 사용하여 국소에서 전역으로의 특징 구별력을 향상시켜 비 줄무늬 제거에 기여한다.
• 주의 맵 생성을 명시적으로 감독하기 위해 주의 손실을 사용하여, 더 복잡한 비 패atters에 대한 견고성을 향상시킨다.
• 데이터셋은 다양한 자연적인 비 환경에서 유래한 29.5K개의 고해상도 이미지 쌍을 사용하여, 비 제거 모델의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 시간적 사전 지식과 인간 감독을 조합한 반자동 방법이 실제 비 영상 시퀀스에서 고품질 클린 이미지를 생성할 수 있는가?
• RQ2 대규모 실제 비 데이터셋으로 훈련된 비 제거 모델이 합성 데이터셋 대비 실제 비 이미지에서 성능 향상을 보일 수 있는가?
• RQ3 계층적으로 국소 및 전역 문맥 특징을 학습함으로써 공간 주의 네트워크가 다양한 비 줄무늬 외관을 효과적으로 모델링할 수 있는가?
• RQ4 주의 손실과 공유 가중치 주의 모듈의 포함 여부가 비 제거 네트워크의 견고성과 성능에 어떤 영향을 미치는가?
• RQ5 제안된 데이터셋은 실제 비 이미지에 대한 비 제거 방법의 정량적 평가를 위한 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• 제안된 SPANet는 실제 비 테스트 세트에서 PSNR 38.06과 SSIM 0.9867을 기록하여 최신 기술 수준의 방법들을 능가한다.
• 기존의 비 제거 모델을 제안된 실제 비 데이터셋으로 훈련시킴으로써 실제 환경 비 이미지에서의 성능이 크게 향상되며, 이는 데이터셋의 일반화 능력에 대한 가치를 입증한다.
• 절단 실험 결과, 공유 가중치 공간 주의 모듈(B_f)이 가장 높은 성능을 보이며, 공간 블록 간 상호의존성이 특징 학습을 향상시킨다는 것을 확인한다.
• 주의 손실 감독이 필수적임을 입증하였으며, 이를 제거할 경우(PB_e) PSNR가 38.06에서 37.39로 감소하여 주의 맵 정교화에 기여함을 보여준다.
• 그림 12의 실패 사례는 매우 조밀하고 neblous한 비 줄무늬는 현재 데이터셋 생성 방법으로는 잘 처리되지 않음을 시사하며, 안개 낀 조건에서의 한계를 보여준다.
• 제안된 데이터셋은 이전의 정성적 비교나 합성 벤치마크에 의존하던 방법보다 더 신뢰할 수 있는 정량적 평가를 가능하게 한다.