[논문 리뷰] Unsupervised Image Denoising with Frequency Domain Knowledge

Nahyun Kim, Donggon Jang외 3명|arXiv (Cornell University)|2021. 11. 29.

Image and Signal Denoising Methods참고 문헌 48인용 수 4

한 줄 요약

이 논문은 쌍체의 청소된/노이즈가 있는 데이터가 없는 조건에서 주로 주파수 도메인 지식을 활용하는 GAN 기반 비지도 이미지 노이즈 제거 방법을 제안한다. 스펙트럼 분류기와 주파수 재구성 손실을 통해 노이즈가 가장 두드러지는 고주파 성분에 집중함으로써, 합성 및 실제 세계 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다. 기존의 비지도 접근 방식을 뛰어넘고, 지도 학습 성능에 가까운 결과를 얻는다.

ABSTRACT

Supervised learning-based methods yield robust denoising results, yet they are inherently limited by the need for large-scale clean/noisy paired datasets. The use of unsupervised denoisers, on the other hand, necessitates a more detailed understanding of the underlying image statistics. In particular, it is well known that apparent differences between clean and noisy images are most prominent on high-frequency bands, justifying the use of low-pass filters as part of conventional image preprocessing steps. However, most learning-based denoising methods utilize only one-sided information from the spatial domain without considering frequency domain information. To address this limitation, in this study we propose a frequency-sensitive unsupervised denoising method. To this end, a generative adversarial network (GAN) is used as a base structure. Subsequently, we include spectral discriminator and frequency reconstruction loss to transfer frequency knowledge into the generator. Results using natural and synthetic datasets indicate that our unsupervised learning method augmented with frequency information achieves state-of-the-art denoising performance, suggesting that frequency domain information could be a viable factor in improving the overall performance of unsupervised learning-based methods.

연구 동기 및 목표

• 청소된 이미지와 노이즈가 있는 이미지 간 주파수 도메인에서의 핵심 통계적 차이를 간과하는 비지도 이미지 노이즈 제거 방법의 한계를 해결한다.
• 대규모 쌍체의 청소된/노이즈가 있는 데이터셋이 필요로 하는 지도 학습 방법에 의존하는 문제를 해결한다. 이러한 데이터셋은 종종 확보가 어려우며 수집 비용이 크다.
• 노이즈가 주로 고주파 대역에 집중되어 있는 반면, 의미적 콘텐츠는 저주파 대역에 존재한다는 사실을 활용하여 노이즈 제거를 유도한다.
• GAN 기반 아키텍처에 주파수 도메인 사전 지식을 통합하는 새로운 프레임워크를 제안하여 이미지 품질과 인지적 타당성을 향상시킨다.
• 주파수 도메인 정보가 비지도 노이즈 제거 성능을 크게 향상시킬 수 있음을 입증하며, 이는 지도 학습 방법과 경쟁 가능한 성능을 달성한다.

제안 방법

• 비지도 이미지 노이즈 제거를 위한 기본 아키텍처로 생성적 적대 신경망(GAN)을 사용하며, 생성자는 노이즈가 있는 이미지를 청소된 출력으로 매핑한다.
• 푸리에 도메인의 고주파 대역에서 청소된 이미지와 노이즈 제거된 이미지를 구별하는 데 특화된 스펙트럼 분류기를 도입한다.
• 노이즈 제거된 이미지의 푸리에 변환과 청소된 기준 이미지의 푸리에 변환 간 차이를 최소화하는 주파수 재구성 손실을 통합한다.
• 주파수 재구성 손실을 사이클 일致성 손실과 조합하여 이미지 콘텐츠를 유지하고 재구성 정확도를 향상시킨다.
• 스펙트럼 분류기를 속임과 동시에 주파수 도메인 재구성 오차를 최소화하도록 생성자를 훈련시켜 고주파 노이즈 제거에 집중하도록 한다.
• 질감 분류기를 사용하여 세부 정보와 윤곽을 유지함으로써 인지적 품질과 SSIM을 향상시키지만, 주파수 도메인 일치성과의 상충 관계가 발생한다.

실험 결과

연구 질문

• RQ1 특히 고주파 대역의 차이를 활용하여 주파수 도메인 정보를 효과적으로 비지도 이미지 노이즈 제거에 활용할 수 있는가?
• RQ2 GAN 아키텍처에 스펙트럼 분류기와 주파수 재구성 손실을 통합하면 공간적 정보만을 사용하는 학습보다 더 나은 노이즈 제거 성능을 낼 수 있는가?
• RQ3 주파수 사전 지식을 활용하는 비지도 방법이 쌍체 데이터로 훈련된 지도 학습 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 스펙트럼 분류기와 주파수 재구성 손실이 공간적 도메인과 주파수 도메인 재구성 간 균형에 각각 및 함께 어떤 영향을 미치는가?
• RQ5 제안된 방법은 합성된 가우시안 백색 노이즈 외에도 실제 세계의 노이즈 패턴에 대해 안정적인가?

주요 결과

• 제안된 방법은 SIDD 데이터셋에서 PSNR 34.30 dB, SSIM 0.9334를 기록하여 모든 비지도 기반 기준선을 초월하고 지도 학습 성능에 근접한다.
• 스펙트럼 분류기만으로도 PSNR가 0.2 dB 향상되고, LFD(주파수 도메인 거리)는 6.5955에서 6.5649로 감소하여 고주파 대역에서의 노이즈 제거 효과를 확인한다.
• 주파수 재구성 손실을 추가하면 추론 분석에서 LFD는 6.5795로 감소하고, PSNR는 26.03 dB, SSIM은 0.8375로 상승하여 주파수 도메인과 공간 도메인 재구성 간 균형을 맞추는 데 기여함을 보여준다.
• 질감 분류기는 SSIM을 0.0041 향상시켜 0.8375로 개선하지만, 약간의 LFD 증가를 유발하여 공간적 세부 정보 유지와 주파수 도메인 정확성 간의 상충 관계를 보여준다.
• 모든 구성 요소(스펙트럼 분류기, 질감 분류기, 주파수 재구성 손실)를 포함한 전체 모델이 가장 우수한 종합 성능을 달성하며, 가장 낮은 LFD와 가장 높은 PSNR/SSIM를 기록한다.
• 정성적 결과에서는 제안된 방법이 강한 노이즈를 효과적으로 제거하면서 색상과 세밀한 질감을 유지함을 보여주며, CBM3D, RedNet-30, DIP 및 LIR보다 시각적 품질에서 뛰어난 성능을 보였다.