[논문 리뷰] SDNet: mutil-branch for single image deraining using swin

Fuxiang Tan, Yuting Kong외 7명|arXiv (Cornell University)|2021. 05. 31.

Image Enhancement Techniques참고 문헌 48인용 수 10

한 줄 요약

이 논문은 단일 이미지 비 제거를 위한 다중 지점 Swin-Transformer 기반 모델인 SDNet을 제안한다. 기존의 컨볼루션을 수정된 Swin Transformer로 대체하여 장거리 상관관계를 포착하고 특징 표현을 향상시킨다. 다중 척도 특징 융합과 스킵 연결을 통합함으로써 SDNet은 Rain100L, Rain100H, 그리고 새로운 Rain3000 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. Rain3000에서 PSNR는 34.09 dB이며, Rain100H에서 MPRNet 대비 1.95 dB 향상되었고, 빠른 추론 속도와 낮은 파라미터 수를 유지한다.

ABSTRACT

Rain streaks degrade the image quality and seriously affect the performance of subsequent computer vision tasks, such as autonomous driving, social security, etc. Therefore, removing rain streaks from a given rainy images is of great significance. Convolutional neural networks(CNN) have been widely used in image deraining tasks, however, the local computational characteristics of convolutional operations limit the development of image deraining tasks. Recently, the popular transformer has global computational features that can further facilitate the development of image deraining tasks. In this paper, we introduce Swin-transformer into the field of image deraining for the first time to study the performance and potential of Swin-transformer in the field of image deraining. Specifically, we improve the basic module of Swin-transformer and design a three-branch model to implement single-image rain removal. The former implements the basic rain pattern feature extraction, while the latter fuses different features to further extract and process the image features. In addition, we employ a jump connection to fuse deep features and shallow features. In terms of experiments, the existing public dataset suffers from image duplication and relatively homogeneous background. So we propose a new dataset Rain3000 to validate our model. Therefore, we propose a new dataset Rain3000 for validating our model. Experimental results on the publicly available datasets Rain100L, Rain100H and our dataset Rain3000 show that our proposed method has performance and inference speed advantages over the current mainstream single-image rain streaks removal models.The source code will be available at https://github.com/H-tfx/SDNet.

연구 동기 및 목표

• 국소적 수신장치로 인해 장거리 문맥적 상관관계를 포착하는 데 한계가 있는 CNN 기반 비 제거 모델의 문제를 해결하기 위해.
• 컨볼루션 연산을 전역 자기주의 메커니즘으로 대체함으로써 Swin Transformer의 잠재력을 이미지 비 제거에 탐색하기 위해.
• 다양한 공간 척도의 특징을 융합하는 다중 지점 아키텍처를 설계하여 빗줄기 패턴과 텍스처 복구를 향상시키기 위해.
• 기존 공개 벤치마크에서 데이터의 동질성과 중복 문제를 해결하기 위해 새로운 다양성 있는 데이터셋 Rain3000을 제안하기 위해.
• 낮은 파라미터 수와 빠른 추론 속도를 유지하면서도 높은 비 제거 성능을 달성하여 실용적 구현 가능성을 높이기 위해.

제안 방법

• 기본 아키텍처는 표준 컨볼루션 레이어를 수정된 Swin Transformer 블록으로 대체하여 전역 특징 모델링과 장거리 의존성 학습을 가능하게 한다.
• 세 개의 지점 설계를 도입: 얕은 특징 추출을 위한 하나의 지점, 깊은 특징 학습을 위한 하나의 지점, 그리고 Mswt-3 모듈을 사용한 다중 척도 특징 융합을 위한 세 번째 지점.
• 깊은 특징과 얕은 특징을 연결하기 위해 스킵 연결을 사용하여 특징 전파를 향상시키고 세밀한 디테일을 유지한다.
• Mswt-3 모듈은 슬라이딩 윈도우와 크로스 윈도우 어텐션을 사용하여 선형 계산 복잡도를 유지하면서도 윈도우 간 정보 교환을 가능하게 한다.
• ImageNet에서 유래한 3000개의 학습 쌍과 400개의 테스트 쌍을 포함하는 새로운 데이터셋 Rain3000을 구축하여 다양한 배경과 비 패턴을 조합함으로써 모델 일반화 능력을 향상시킨다.
• Y = B + R라는 가정 기반 복원 손실을 사용하여 엔드 투 엔드로 모델을 훈련한다. 여기서 Y는 비가 내린 이미지, B는 클린 이미지, R은 빗줄기이다.

실험 결과

연구 질문

• RQ1 Swin Transformer의 전역 어텐션 메커니즘이 장거리 의존성을 포착함으로써 컨볼루션 네트워크보다 단일 이미지 비 제거에서 우월한 성능을 낼 수 있는가?
• RQ2 다양한 척도의 특징 융합을 갖춘 다중 지점 아키텍처는 단일 경로 또는 이중 지점 설계에 비해 비 제거 성능을 어떻게 향상시키는가?
• RQ3 깊은 특징과 얕은 특징 간 스킵 연결의 사용이 세밀한 텍스처 복구를 향상시키고 잡음 요소를 줄이는 데 기여하는가?
• RQ4 다양한 배경과 비 패턴을 포함한 새로 촬영한 데이터셋인 Rain3000은 모델 일반화 능력 향상과 동질성 있는 데이터에 대한 과적합을 줄이는 데 기여하는가?
• RQ5 비 제거에 트랜스포머 기반 아키텍처를 사용할 경우, 성능, 파라미터 수, 추론 속도 간의 상충 관계는 어떠한가?

주요 결과

• SDNet은 Rain3000 데이터셋에서 PSNR 34.09 dB, SSIM 0.9621을 달성하여 비교된 모든 방법을 초월한다.
• Rain100H에서 SDNet은 PSNR 28.26 dB, SSIM 0.8957을 기록하여 이전 최신 기술 수준 모델인 MPRNet 대비 각각 1.95 dB, 0.0497 향상되었다.
• SDNet은 DCSFN의 26.82% 수준, MPRNet의 47.58% 수준의 파라미터 수를 유지하면서도 더 빠른 추론 속도를 확보하였다. DCSFN 대비 5.7배 빠르고, MPRNet 대비 1.79배 빠르다.
• 시각적 비교 결과, SDNet은 빗줄기를 효과적으로 제거하면서도 텍스처 디테일을 잘 유지하며, RESCAN, NLEDN, GCANet, PREnet, DCSFN, MPRNet보다 정량적·정성적 결과 모두에서 뛰어난 성능을 보였다.
• 절단 실험 결과, 세 개의 지점을 가진 Mswt-3 모듈이 173만 파라미터를 가진 변종들 중에서 가장 높은 성능(PSNR 34.09 dB)을 기록함을 확인하였다.
• 제안된 Rain3000 데이터셋은 더 높은 다양성과 일반화 잠재력을 보이며, 견고한 비 제거 모델 평가를 지원한다.