[논문 리뷰] Wavelet-based Fourier Information Interaction with Frequency Diffusion Adjustment for Underwater Image Restoration

Zhao Chen, Weiling Cai외 2명|arXiv (Cornell University)|2023. 11. 28.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 웨이블릿 도메인 주파수 분석과 확산 모델을 활용하여 영상 품질을 햖थ하는 새로운 수중 영상 향상 프레임워크인 WF-Diff를 제안한다. 이 방법은 이산 웨이블릿 변환을 통해 영상을 저주파수 및 고주파수 하위밴드로 분해하여 열악한 성능을 유발하는 성분을 분리하고, 플러그 앤 플레이 방식의 주파수 잔차 확산 조정 모듈(FRDAM)을 통해 주파수 특화 보정을 적용함으로써 실제 수중 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Underwater images are subject to intricate and diverse degradation, inevitably affecting the effectiveness of underwater visual tasks. However, most approaches primarily operate in the raw pixel space of images, which limits the exploration of the frequency characteristics of underwater images, leading to an inadequate utilization of deep models' representational capabilities in producing high-quality images. In this paper, we introduce a novel Underwater Image Enhancement (UIE) framework, named WF-Diff, designed to fully leverage the characteristics of frequency domain information and diffusion models. WF-Diff consists of two detachable networks: Wavelet-based Fourier information interaction network (WFI2-net) and Frequency Residual Diffusion Adjustment Module (FRDAM). With our full exploration of the frequency domain information, WFI2-net aims to achieve preliminary enhancement of frequency information in the wavelet space. Our proposed FRDAM can further refine the high- and low-frequency information of the initial enhanced images, which can be viewed as a plug-and-play universal module to adjust the detail of the underwater images. With the above techniques, our algorithm can show SOTA performance on real-world underwater image datasets, and achieves competitive performance in visual quality.

연구 동기 및 목표

• 기존 수중 영상 향상(UIE) 방법들이 주로 픽셀 공간에서 작동하고 주파수 도메인 특성을 충분히 활용하지 못하는 한계를 해결하기 위해.
• 주파수 도메인에서 열악한 성능 성분의 분포를 조사하여, 특히 색상 왜곡이 주로 저주파수 하위밴드에, 텍스처 손실은 고주파수 하위밴드에 암호화되어 있음을 규명하기 위해.
• 주파수 도메인 분석과 확산 모델을 통합하여 전반적인 색상 정합성과 국소적 텍스처 세부 정보를 동시에 향상시킬 수 있는 통합 프레임워크를 개발하기 위해.
• 웨이블릿 도메인에서 고주파수 및 저주파수 성분을 독립적으로 정밀하게 보정할 수 있도록 설계된 플러그 앤 플레이 모듈인 FRDAM을 개발하여 복원 품질을 향상시키기 위해.

제안 방법

• 프레임워크는 웨이블릿 공간에서 주파수 도메인 상호작용을 수행하여 저주파수 및 고주파수 성분을 별도로 향상시키는 웨이블릿 기반 푸리에 정보 상호작용 네트워크(WFI2-net)를 사용한다.
• WFI2-net은 저주파수 및 고주파수 하위밴드 간의 정보 교환을 가능하게 하는 크로스 주파수 조절기(CFC)를 사용하여 표현 학습을 향상시킨다.
• 주파수 잔차 확산 조정 모듈(FRDAM)은 웨이블릿 도메인에서 확산 기반 노이즈 제거를 적용하여 저주파수 및 고주파수 성분을 독립적으로 보정함으로써 세밀한 디테일 복원과 색상 왜곡 교정을 실현한다.
• 구조적 및 의미적 일관성을 유지하기 위해 L1 복원 손실, 지각 손실, 진폭 인지 손실을 포함하는 다중 손실 학습 전략을 사용한다.
• 확산 과정은 픽셀 공간이 아닌 웨이블릿 도메인에서 적용되어 특정 주파수 대역에 집중된 보정이 가능하며, 통제되지 않은 노이즈 샘플링으로 인한 잡음 감소에 기여한다.
• 프레임워크는 모듈식 구조를 취한다: WFI2-net은 초기 향상을 담당하고, FRDAM은 추가적인 디테일 보정을 위한 유니버설 후처리 모듈로 기능한다.

실험 결과

연구 질문

• RQ1 수중 영상에서 열악한 성능 성분(색상 왜곡, 블러, 노이즈)은 다양한 주파수 대역에 어떻게 분포되어 있는가?
• RQ2 픽셀 공간 방법에 비해 웨이블릿 도메인 주파수 분석이 열악한 성능 패턴의 표현에 더 나은 성능을 발휘할 수 있는가?
• RQ3 픽셀 공간이 아닌 웨이블릿 도메인에서 확산 모델을 적용할 경우, 더 나은 복원 품질과 더 적은 잡음이 발생하는가?
• RQ4 플러그 앤 플레이 방식의 주파수 특화 확산 모듈(FRDAM)이 고주파수 및 저주파수 성분을 독립적으로 효과적으로 보정하여 영상 디테일과 색상 정합성을 향상시킬 수 있는가?

주요 결과

• Ablation 연구 결과 WFI2-net의 모든 구성 요소(SFFB, WTB, CFC)가 필수적임을 확인하였으며, 전체 구성에서 UIEBD에서 21.87 PSNR 및 0.8622 SSIM을 달성하였다.
• WFI2-net에 모든 손실 함수(Lh, Lrec, La, CFC)를 통합한 경우가 최고 성능(21.87 PSNR, 0.8622 SSIM)을 기록하여 상호보완적 작용을 증명하였다.
• FRDAM은 성능 향상에 중대한 기여를 하였으며, 저주파수 및 고주파수 성분 보정을 모두 수행하는 완전한 FRDAM은 23.86 PSNR를 기록하여 표준 확산 모델보다 3 dB 이상 뛰어난 성능을 보였다.
• 시각적 결과에서는 FRDAM이 잡음과 색상 왜곡을 효과적으로 감소시키고, 특히 복잡한 수중 환경에서 텍스처 디테일을 향상시키는 데 성공하였다.
• UIEBD 및 LSUI 데이터셋 모두에서 최신 기술 수준의 성능을 달성하였으며, FID(23.55) 및 LPIPS(0.0820) 지표에서도 경쟁력 있는 결과를 기록하였다.
• 웨이블릿 도메인에서의 확산 접근 방식(FRDAM)은 픽셀 공간에서의 확산보다 뛰어나며, 웨이블릿 기반 보정을 사용할 경우 PSNR가 2.5 dB 향상됨을 입증하였다.