[논문 리뷰] SDWNet: A Straight Dilated Network with Wavelet Transformation for Image Deblurring

Wenbin Zou, Mingchao Jiang외 4명|arXiv (Cornell University)|2021. 10. 12.

Advanced Image Processing Techniques참고 문헌 40인용 수 8

한 줄 요약

SDWNet는 전통적인 인코더-디코더 구조를 확장된 컨볼루션과 웨이블릿 기반 주파수 도메인 향상으로 대체하는 경량이며 종단 간(end-to-end) CNN을 제안한다. 업샘플링/다운샘플링 없이 다중 비율 확장 컨볼루션을 사용하여 큰 수신장(Receptive Field)을 확보하고, 고주파 수복을 위해 웨이블릿 복원 모듈을 도입함으로써, GoPro 데이터셋에서 7.2M 파라미터와 181.31 GFLOPs로 상태의 기준(SOTA) PSNR(31.36)와 SSIM(0.967)을 달성한다.

ABSTRACT

Image deblurring is a classical computer vision problem that aims to recover a sharp image from a blurred image. To solve this problem, existing methods apply the Encode-Decode architecture to design the complex networks to make a good performance. However, most of these methods use repeated up-sampling and down-sampling structures to expand the receptive field, which results in texture information loss during the sampling process and some of them design the multiple stages that lead to difficulties with convergence. Therefore, our model uses dilated convolution to enable the obtainment of the large receptive field with high spatial resolution. Through making full use of the different receptive fields, our method can achieve better performance. On this basis, we reduce the number of up-sampling and down-sampling and design a simple network structure. Besides, we propose a novel module using the wavelet transform, which effectively helps the network to recover clear high-frequency texture details. Qualitative and quantitative evaluations of real and synthetic datasets show that our deblurring method is comparable to existing algorithms in terms of performance with much lower training requirements. The source code and pre-trained models are available at https://github.com/FlyEgle/SDWNet.

연구 동기 및 목표

• 반복적인 업샘플링 및 다운샘플링에 의존하는 기존 이미지 복원 방법의 한계를 해결하기 위해 텍스처 손실을 최소화하고 수렴을 향상시키기 위해.
• 적대적 훈련을 피하여 안정성과 복잡성이 높은 GAN 기반 복원 접근법의 문제점을 해결하기 위해.
• 粗-세부 구조 또는 다단계 아키텍처를 단순한 종단 간 설계로 대체하여 모델 복잡성과 훈련 난이도를 감소시키기 위해.
• 공간 도메인에서 주파수 도메인 특징 향상을 위해 웨이블릿 변환을 통합함으로써 고주파 수복을 향상시키기 위해.
• 최소한의 파라미터와 FLOPs로 높은 성능을 유지하는 경량이며 효율적인 네트워크 개발하기 위해.

제안 방법

• 업샘플링 또는 다운샘플링 없이 수신장을 확장하기 위해 다중 비율 확장 컨볼루션을 사용하는 확장 컨볼루션 모듈을 제안한다.
• 증가하는 비율을 가진 확장 컨볼루션을 사용하여 다양한 공간 척도에서 비국소 유사 특징을 캡처한다.
• 이산 웨이블릿 변환(DWT)과 역이산 웨이블릿 변환(IDWT)을 사용해 주파수 도메인에서 복원을 수행하는 웨이블릿 복원 모듈(WRM)을 도입한다.
• 공간 도메인과 주파수 도메인 특징을 결합하기 위해 웨이블릿 변환된 특징에서 최종 출력을 복원함으로써 고주파 수복을 향상시킨다.
• 재구성 정확도와 시각적 품질을 균형 잡기 위해 가속 가능한 하이퍼파rameter λ를 가진 하이브리드 손실 함수를 사용한다.
• 트레이닝 복잡성과 파라미터 수를 줄이기 위해 스케일업 연결 또는 다단계 정밀화가 없는 단일 경로 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 인코더-디코더 또는 군집-세부 구조를 사용하지 않고도 경량이며 종단 간 CNN 아키텍처가 경쟁 가능한 복원 성능을 달성할 수 있는가?
• RQ2 업샘플링 및 다운샘플링을 확장 컨볼루션으로 대체함으로써 텍스처 손실이 감소하고 이미지 복원에서 특징 표현이 향상되는가?
• RQ3 웨이블릿 변환 기반 주파수 도메인 처리가 복원된 이미지의 고주파 수복에 효과적으로 기여하는가?
• RQ4 확장 컨볼루션과 웨이블릿 복원의 통합이 PSNR, SSIM 및 모델 효율성 측면에서 기존 SOTA 방법과 비교해 어떻게 성능을 냅니다?
• RQ5 최고의 복원 성능를 달성하기 위해 네트워크 깊이, 너비, 활성화 함수, 손실 가중치의 최적 조합은 무엇인가?

주요 결과

• SDWNet는 GoPro 테스트 세트에서 PSNR 31.36, SSIM 0.967을 기록하여 DeblurGAN-v2(PSNR: 29.55, SSIM: 0.934)를 능가하고, 더 적은 파라미터로 다른 SOTA 방법과 유사하거나 뛰어난 성능을 달성한다.
• 모델은 오직 7.2M 파라미터와 181.31 GFLOPs만을 사용하여 DeblurGAN-v2(60.9M 파라미터, 411.34 GFLOPs) 및 기타 복잡한 아키텍처보다 훨씬 더 효율적이다.
• 제거 실험 결과, ELU 활성화 함수와 양방향 업샘플링이 ReLU와 디컨볼루션 대비 성능 향상을 보였으며, 모든 구성 요소가 포함된 경우 PSNR가 27.36에서 28.36으로 상승하였다.
• 최적의 손실 하이퍼파rameter λ는 1로 확인되었으며, 이는 Charbonnier 손실과 SSIM 손실을 균형 잡아 PSNR와 SSIM을 최대화한다.
• 웨이블릿 복원 모듈(WRM)은 고주파 특징 복원에 기여하며, 기본 모델에 WRM을 추가함으로써 PSNR가 1.0 dB 향상되는 것으로 나타났다.
• 모델은 깊이 d=16, 너비 w=32에서 최고의 성능를 보였으며, 깊이보다 너비가 성능에 더 큰 영향을 미쳤다.