[논문 리뷰] SAPNet: Segmentation-Aware Progressive Network for Perceptual Contrastive Deraining

Shen Zheng, Changjie Lu외 2명|arXiv (Cornell University)|2021. 11. 16.

Image Enhancement Techniques인용 수 4

한 줄 요약

SAPNet는 단일 이미지 비제거를 위한 세분화 인식 프로그레시브 네트워크를 제안하며, 다중 척도 비 줄무늬 모델링을 위한 경량 프로그레시브 확장 단위(PDU), 정합도를 유지하기 위한 비지도 배경 세분화(UBS), 그리고 학습된 인지적 유사성과 함께 인지적 대비 손실(PCL)을 통해 비가림 출력을 픽셀 수준과 인지 공간에서 정답과 정렬합니다. 이 방법은 합성 및 실세계 비제거 벤치마크에서 최신 기술 수준의 성능을 달성하여 객체 검출 및 세분화 정확도를 크게 향상시킵니다.

ABSTRACT

Deep learning algorithms have recently achieved promising deraining performances on both the natural and synthetic rainy datasets. As an essential low-level pre-processing stage, a deraining network should clear the rain streaks and preserve the fine semantic details. However, most existing methods only consider low-level image restoration. That limits their performances at high-level tasks requiring precise semantic information. To address this issue, in this paper, we present a segmentation-aware progressive network (SAPNet) based upon contrastive learning for single image deraining. We start our method with a lightweight derain network formed with progressive dilated units (PDU). The PDU can significantly expand the receptive field and characterize multi-scale rain streaks without the heavy computation on multi-scale images. A fundamental aspect of this work is an unsupervised background segmentation (UBS) network initialized with ImageNet and Gaussian weights. The UBS can faithfully preserve an image's semantic information and improve the generalization ability to unseen photos. Furthermore, we introduce a perceptual contrastive loss (PCL) and a learned perceptual image similarity loss (LPISL) to regulate model learning. By exploiting the rainy image and groundtruth as the negative and the positive sample in the VGG-16 latent space, we bridge the fine semantic details between the derained image and the groundtruth in a fully constrained manner. Comprehensive experiments on synthetic and real-world rainy images show our model surpasses top-performing methods and aids object detection and semantic segmentation with considerable efficacy. A Pytorch Implementation is available at https://github.com/ShenZheng2000/SAPNet-for-image-deraining.

연구 동기 및 목표

• 저수준 이미지 복원과 고수준 비전 작업 간 격차를 해소하기 위해 의미 보존을 위한 비제거 모델 향상.
• 기존 비제거 방법이 이미지 품질 지표(예: PSNR, SSIM)에만 집중하고 객체 검출 및 세분화와 같은 후행 작업에 기여하지 않는 한계를 극복.
• 세분화 레이블이 필요 없는 비지도 배경 세분화를 도입하여 고비용의 레이블링 데이터 의존도를 줄이고 의미적 구조를 유지.
• 다양한 조명 조건과 조밀한 비 줄무늬를 포함한 실세계 비 이미지에 대한 일반화 능력을 향상시키기 위해 다중 척도 맥락 모델링과 대비 학습을 통한 강화.
• 실시간 추론 효율성을 확보하여 자율주행과 같은 모바일 및 실시간 응용 프로그램에 적합하면서도 높은 성능 유지.

제안 방법

• 확장 컨볼루션을 점진적으로 적용하여 수신 필드를 확장하는 프로그레시브 확장 단위(PDU)를 제안하여, 높은 계산 비용 없이 효과적인 다중 척도 비 줄무늬 캡처를 가능하게 함.
• ImageNet 및 가우시안 가중치로 초기화된 비지도 배경 세분화(UBS) 네트워크를 도입하여 세분화 세부 정보를 유지하면서도 세분화 레이블이 필요 없음.
• 비가림 이미지를 음성 샘플로, 정답 이미지를 양성 샘플로 간주하여 VGG-16 특징 공간에서 인지적 대비 손실(PCL)을 설계하여 비가림 출력이 인지 공간에서 정답과 일치하도록 유도.
• PCL를 학습된 인지적 이미지 유사도 손실(LPISL)과 결합하여 픽셀 수준의 정밀도와 인지적 현실감을 동시에 최적화.
• 비가림 네트워크, UBS 네트워크, VGG-16 백본을 통합된 프레임워크로 통합하여 대비 학습과 인지적 감독을 통해 특징를 정렬.
• 비가림 작업에 대한 지도 학습 손실을 사용하여 모델을 엔드 투 엔드로 훈련시키며, PCL과 LPISL이 추가로 인지적 정규화를 제공함.

Figure 2: User study score $\uparrow$ and inference time $\downarrow$ comparison. The user study score (1-5) is averaged from real-rainy datasets including Rain800, SIRR and MOSS. The average run time (inference time) is calculated on images with size 512 $\times$ 512 with a single NVIDIA RTX 2080 T

실험 결과

연구 질문

• RQ1 비지도 배경 세분화는 세분화 레이블이 필요 없이 비제거에서 의미 보존을 향상시킬 수 있는가?
• RQ2 표준 픽셀 수준 손실을 초월하여 인지적 대비 학습이 비가림 이미지 품질을 얼마나 향상시키는가?
• RQ3 프로그레시브 확장 단위(PDU)는 표준 또는 다중 척도 입력 접근 방식에 비해 다중 척도 비 줄무늬 모델링을 어떻게 향상시키는가?
• RQ4 인지적 유사성과 대비 정렬을 최적화한 비제거 모델이 객체 검출 및 세분화와 같은 후행 고수준 비전 작업에서 측정 가능한 성능 향상을 이끌 수 있는가?
• RQ5 제안된 방법은 합성 및 실세계 비 이미지 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 낮은 추론 시간과 모델 크기를 유지할 수 있는가?

주요 결과

• Rain100H 벤치마크에서 SAPNet는 최고의 PSNR(29.45)와 SSIM(0.903)를 기록하여 이전 최신 기술 수준의 모든 방법을 모두 앞서나감.
• 실세계 SIRR 데이터셋에서 SAPNet는 최고의 BRISQUE 점수(17.54)를 기록하여 향상된 이미지 품질과 낮은 왜곡을 나타냄.
• MOSS 데이터셋에서 SAPNet는 최고의 UNIQUE 점수(1.05)를 기록하여 다양한 날씨 및 조명 조건을 가진 실세계 비 이미지에 대한 강력한 일반화 능력을 입증함.
• COCO150에서의 객체 검출에서 SAPNet는 YOLOv3가 DDN, Syn2Real, EffDerain과 같은 경쟁 모델들이 놓친 교통 신호등 및 기타 소형 객체를 성공적으로 검출할 수 있도록 함.
• CityScape150에서의 세분화에서 SAPNet는 정답에 가장 가까운 정확한 세분화 맵을 생성하며, DDN 및 RESCAN과 같은 모델들은 왼쪽 차량과 같은 전체 객체를 탐지하지 못함.
• 절단 분석 결과, 인지적 대비 손실(PCL)이 성능 향상에 크게 기여하는 것으로 확인되었고, L1 대비 손실은 결과를 악화시키므로 인지 수준의 정렬이 반드시 필요함을 입증함.

Figure 3: Model architecture for SAPNet. SAPNet joins a derain network for supervised rain removal, a segmentation network for unsupervised background segmentation, and a VGG-16 network for perceptual contrast. The rainy image first enters the derain network for rain removal, using the groundtruth a