[논문 리뷰] Intriguing Findings of Frequency Selection for Image Deblurring

Xintian Mao, Yiming Liu외 4명|arXiv (Cornell University)|2021. 11. 23.

Advanced Image Processing Techniques참고 문헌 54인용 수 37

한 줄 요약

본 논문은 주파수 도메인에서 ReLU를 적용한 뒤 역 FFT를 수행하면 흐림 패턴이 드러난다는 것을 밝히고, 주파수 도메인 흐림 신호를 픽셀 도메인 특징과 융합하는 플러그 앤 플레이형 Res FFT-ReLU 블록을 제안하여 여러 아키텍처와 데이터셋에서 디블러링 성능을 향상시킨다.

ABSTRACT

Blur was naturally analyzed in the frequency domain, by estimating the latent sharp image and the blur kernel given a blurry image. Recent progress on image deblurring always designs end-to-end architectures and aims at learning the difference between blurry and sharp image pairs from pixel-level, which inevitably overlooks the importance of blur kernels. This paper reveals an intriguing phenomenon that simply applying ReLU operation on the frequency domain of a blur image followed by inverse Fourier transform, i.e., frequency selection, provides faithful information about the blur pattern (e.g., the blur direction and blur level, implicitly shows the kernel pattern). Based on this observation, we attempt to leverage kernel-level information for image deblurring networks by inserting Fourier transform, ReLU operation, and inverse Fourier transform to the standard ResBlock. 1x1 convolution is further added to let the network modulate flexible thresholds for frequency selection. We term our newly built block as Res FFT-ReLU Block, which takes advantages of both kernel-level and pixel-level features via learning frequency-spatial dual-domain representations. Extensive experiments are conducted to acquire a thorough analysis on the insights of the method. Moreover, after plugging the proposed block into NAFNet, we can achieve 33.85 dB in PSNR on GoPro dataset. Our method noticeably improves backbone architectures without introducing many parameters, while maintaining low computational complexity. Code is available at https://github.com/DeepMed-Lab/DeepRFT-AAAI2023.

연구 동기 및 목표

• 블러 커널과 주파수 도메인 신호를 고려하고 픽셀 수준 차이뿐만 아니라 주파수 정보를 활용하도록 디블러링 연구를 자극한다.
• 주파수 도메인 ReLU가 흐림 이미지에서 흐림 패턴과 커널 정보를 드러낼 수 있음을 입증한다.
• 표준 ResBlock에서 커널 수준 특징과 픽셀 수준 특징을 융합하는 경량의 플러그 앤 플레이 FFT 기반 블록을 제안한다.
• 매개변수 오버헤드를 거의 증가시키지 않으면서 FFT-ReLU 스트림을 통합하면 MIMO-UNet, NAFNet 등 백본의 성능이 향상됨을 보인다.

제안 방법

• 흐려진 이미지의 푸리에 변환에 ReLU를 적용하고 역변환하는 것이 흐림 패턴 구성요소를 분리한다는 것을 보여준다.
• 표준 ResBlock에 FFT-ReLU 스트림을 더하는 Res FFT-ReLU 블록을 제안하며, 여기에는 2D 실수 FFT, 1x1 컨볼루션, ReLU, 그리고 역 2D 실수 FFT가 포함된다.
• 주파수 도메인에서 학습 가능한 복소수 1x1 컨볼루션을 도입하여 유연한 주파수 임계값을 조정한다.
• ResBlock의 아이덴티티 매핑을 FFT-ReLU 기반 경로로 대체하고 공간 잔여 신호 스트림과 융합한다.
• FFT-ReLU 스트림의 위치, 임계값 효과, 복소수 대 실수 컨볼루션을 연구하기 위한 어블레이션을 수행한다.
• GoPro, HIDE, RealBlur 데이터셋에서 평가하고 PSNR/SSIM 비교, 파라미터 수, FLOPs, 추론 시간 등을 보고한다.

실험 결과

연구 질문

• RQ1 주파수 도메인 처리로 흐린 이미지에서 충실한 흐림 패턴과 커널 정보를 드러낼 수 있는가?
• RQ2 ResBlocks에 주파수 도메인 FFT-ReLU 스트림을 도입하면 백본 아키텍처 전반에서 디블러링 성능이 향상되는가?
• RQ3 주파수 스트림의 임계값 선택과 복소수 컨볼루션이 디블러링 결과에 어떤 영향을 미치는가?
• RQ4 제안된 Res FFT-ReLU 블록을 MIMO-UNet, NAFNet 등 기존 아키텍처에 적용했을 때 실증적 이점은 무엇인가?

주요 결과

• 주파수 도메인 ReLU에 이어 역 FFT를 수행하면 흐림 패턴 구성요소가 드러나 커널 수준 정보 추출에 도움이 된다.
• ResBlock에 FFT-ReLU 스트림을 삽입하면 아키텍처 전반에서 PSNR 증가가 크다(예: GoPro에서 FFT-ReLU로 RSNet의 PSNR이 28.06에서 30.30으로 상승).
• Res FFT-ReLU 블록은 플러그 앤 플레이이며 GoPro와 HIDE 데이터셋에서 RSNet, U-Net, MPRNet, MIMO-UNet, NAFNet 등 여러 백본을 향상시킨다.
• 주파수 스트림에서 학습 가능한 복소수 1x1 컨볼루션과 FFT-ReLU 경로를 사용하는 것이 실수 전용 또는 간단한 연결 대안보다 더 높은 유연성과 성능을 제공한다.
• ResBlock의 아이덴티티 매핑을 FFT-ReLU 스트림으로 대체하면 주파수 도메인의 비선형성을 통해 글로벌 컨텍스트를 학습하게 되어 디블러링 성능이 향상된다.
• FMIMO-UNet 및 FNAFNet 변형이 Res FFT-ReLU를 포함하여 GoPro, HIDE, RealBlur 데이터세트에서 최첨단 또는 경쟁력 있는 PSNR을 달성 (예: FMIMO-UNet+ PSNR: GoPro 33.52, HIDE 31.66, RealBlur-R 36.11, RealBlur-J 28.88; FNAFNet64 PSNR GoPro: 33.85).