[논문 리뷰] Unsupervised Image Denoising in Real-World Scenarios via Self-Collaboration Parallel Generative Adversarial Branches

Xin Lin, Chao Ren외 3명|arXiv (Cornell University)|2023. 08. 13.

Image and Signal Denoising Methods인용 수 4

한 줄 요약

이 논문은 추론 복잡도를 증가시키지 않으면서도 성능을 향상시키는 비지도 실세계 이미지 노이즈 제거를 위한 자기협업형 병렬 생성적 적대적 신경망인 SCPGabNet을 제안한다. 노이즈 추출 및 노이즈 제거 루프 내에서 약한 노이즈 제거기들을 반복적으로 더 강력한 것으로 교체함으로써, 더 나은 합성 클리어-노이즈 쌍을 생성하며, SIDD 및 DND 벤치마크에서 최신 기준 성능을 달성한다. 기준 모델 대비 1.86dB의 PSNR 향상을 기록하였다.

ABSTRACT

Deep learning methods have shown remarkable performance in image denoising, particularly when trained on large-scale paired datasets. However, acquiring such paired datasets for real-world scenarios poses a significant challenge. Although unsupervised approaches based on generative adversarial networks offer a promising solution for denoising without paired datasets, they are difficult in surpassing the performance limitations of conventional GAN-based unsupervised frameworks without significantly modifying existing structures or increasing the computational complexity of denoisers. To address this problem, we propose a SC strategy for multiple denoisers. This strategy can achieve significant performance improvement without increasing the inference complexity of the GAN-based denoising framework. Its basic idea is to iteratively replace the previous less powerful denoiser in the filter-guided noise extraction module with the current powerful denoiser. This process generates better synthetic clean-noisy image pairs, leading to a more powerful denoiser for the next iteration. This baseline ensures the stability and effectiveness of the training network. The experimental results demonstrate the superiority of our method over state-of-the-art unsupervised methods.

연구 동기 및 목표

• 쌍화된 훈련 데이터 없이도 실세계 이미지 노이즈 제거 문제를 해결하기 위해.
• 기존의 GAN 기반 비지도 노이즈 제거 프레임워크는 기존의 구조적 변경 없이나 더 높은 복잡도 없이 초기 훈련 수준을 초월할 수 없는 성능 한계를 극복하기 위해.
• 합성 클리어-노이즈 쌍을 사용하여 반복적으로 모델 자체를 강화할 수 있는 자기협업 전략을 개발하기 위해.
• 안정적이고 효과적인 기초 프레임워크를 설계하여 상호보완적인 '자기합성' 및 '쌍화되지 않은 합성' 제약 조건을 통합해 강력한 훈련을 가능하게 하기 위해.

제안 방법

• 재구성된 이미지와 노이즈가 있는 입력에서 합성 노이즈 이미지를 생성하는 필터 가이드드 노이즈 추출(NE) 모듈을 제안한다.
• 자기합성과 쌍화되지 않은 합성이라는 상호보완적인 두 가지 브랜치를 갖춘 병렬 생성적 적대적 브랜치 프레임워크를 도입하여, 훈련의 안정성과 다양성을 향상시킨다.
• 이전의 노이즈 제거기를 현재 더 강력한 것으로 반복적으로 교체하는 자기협업(SC) 전략을 적용하여, 합성 데이터를 정교화하고 성능을 향상시킨다.
• 두 단계 훈련 과정을 사용한다: 첫 번째 단계는 패치 크기 112, 배치 크기 8로, 두 번째 단계는 패치 크기 128, 배치 크기 4로, 모두 고정된 1e-4 학습률을 사용한다.
• NE 모듈을 사용해 노이즈 이미지에서 노이즈를 추출하고, 노이즈 제거기(DN)를 사용해 클리어 이미지를 재구성함으로써, R-B(치환-강화) 반복 루프를 구성한다.
• DnCNN, UNet, DeamNet, DBSNL 등의 다양한 노이즈 제거기들에 대해 SC 전략을 적용하여, 아키텍처 간의 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 자기협업 메커니즘이 추론 복잡도를 증가시키지 않으면서도 GAN 기반 비지도 이미지 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ2 자기합성과 쌍화되지 않은 합성 제약 조건을 갖춘 상호보완적인 병렬 생성적 적대적 브랜치 프레임워크는 훈련 안정성과 성능 향상에 얼마나 효과적인가?
• RQ3 자기협업 전략은 다양한 노이즈 제거 네트워크의 실세계 이미지 노이즈 제거 벤치마크에서 성능 향상에 얼마나 기여하는가?
• RQ4 SC를 통한 합성 클리어-노이즈 쌍의 반복적 정교화가 여러 반복 단계에 걸쳐 일관되고 측정 가능한 PSNR 향상을 이끌어내는가?
• RQ5 SC 전략은 다양한 네트워크 아키텍처와 데이터셋에 일반화될 수 있는가?

주요 결과

• 제안된 SCPGabNet은 SIDD 벤치마크에서 기준 모델인 PGabNet 대비 1.86dB의 PSNR 향상을 기록하여, 자기협업 전략의 효과성을 입증한다.
• SC 전략의 첫 번째 반복에서 0.5dB 이상의 PSNR 향상이 발생하며, 이후 반복에서는 수익 감소 현상이 나타나 성능 향상의 빠른 진화를 시사한다.
• DnCNN에 SC 전략을 적용하면 SIDD 검증 세트에서 PSNR가 0.96dB, SSIM이 0.0085 향상되어 전이 가능성의 확인이 이루어졌다.
• UNet과 DBSNL는 각각 1.58dB와 1.52dB의 PSNR 향상을 기록하여, 아키텍처 간 일관된 성능 향상이 이루어짐을 보여준다.
• 이 방법은 SIDD 및 DND 벤치마크 모두에서 최신 기준 성능을 달성하며, 기존의 비지도 방법들보다 큰 격차로 앞서며 성능을 뛰어넘었다.
• 제거 분석 결과, 상호보완적인 제약 조건을 갖춘 병렬 브랜치 조합이 훈련 안정성과 최종 성능 향상에 크게 기여하는 것으로 확인되었다.