[논문 리뷰] Handling noise in image deblurring via joint learning

Si Miao, Yongxin Zhu|arXiv (Cornell University)|2020. 01. 27.

Advanced Image Processing Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 잡음이 있는 조건에서 블라인드 이미지 복원을 위한 공동 학습 프레임워크인 NIDF를 제안한다. 이는 디노이징 네트워크와 디블러링 네트워크를 연결하여 함께 학습한다. 기존의 디노이징 후 디블러링 방식과 달리, NIDF는 두 단계를 동시에 최적화하여 잔여 잡음으로 인한 아티팩트를 크게 줄이고, 잡음 수준 추정이 필요 없이 무거운 잡음에 대해서도 강건성을 확보한다.

ABSTRACT

Currently, many blind deblurring methods assume blurred images are noise-free and perform unsatisfactorily on the blurry images with noise. Unfortunately, noise is quite common in real scenes. A straightforward solution is to denoise images before deblurring them. However, even state-of-the-art denoisers cannot guarantee to remove noise entirely. Slight residual noise in the denoised images could cause significant artifacts in the deblurring stage. To tackle this problem, we propose a cascaded framework consisting of a denoiser subnetwork and a deblurring subnetwork. In contrast to previous methods, we train the two subnetworks jointly. Joint learning reduces the effect of the residual noise after denoising on deblurring, hence improves the robustness of deblurring to heavy noise. Moreover, our method is also helpful for blur kernel estimation. Experiments on the CelebA dataset and the GOPRO dataset show that our method performs favorably against several state-of-the-art methods.

연구 동기 및 목표

• 실제 환경에서 흔히 발생하는 잡음으로 인해 성능이 저하되는 블라인드 이미지 디블러링의 핵심적 격차를 해결한다.
• 디노이징 후 디블러링을 순차적으로 수행하는 기존 파이프라인의 한계를 극복하며, 디노이저에서 발생하는 잔여 잡음으로 인해 디블러링 과정에서 심한 리bbing 아티팩트가 발생하는 문제를 해결한다.
• 기존 방법에서 주요 실용적 장벽이었던 학습 및 추론 시 정확한 잡음 수준 추정이 필요 없도록 한다.
• 특히 높은 잡음과 복잡한 운동 블러가 존재하는 어려운 상황에서도 공동 최적화를 통해 블러 커널 추정 정확도를 향상시킨다.
• 각 잡음 수준에 맞는 별도의 모델이 필요 없이 다양한 잡음 수준에 강건한 통합형 엔드 투 엔드 트레이너블 프레임워크를 개발한다.

제안 방법

• 디노이징 네트워크(Net1)와 디블러링 네트워크(Net2)로 구성된 캐스케이드 구조의 NIDF 프레임워크를 제안하며, 두 하위망 모두 U-Net 유사한 인코더-디코더 아키텍처를 사용한다.
• 디노이징 출력과 디블러딩 출력의 재구성 오차를 최소화하기 위해, 공동 손실 함수 $\mathcal{L}_{\text{joint}} = \mathcal{L}_{\text{denoiser}} + \mathcal{L}_{\text{deblurring}}$ 를 사용하여 두 하위망을 동시에 학습한다.
• 학습 중 혼합 잡음 수준 전략을 사용하여, 명시적인 잡음 수준 입력 없이도 다양한 잡음 강도에 일반화할 수 있도록 한다.
• 일부 기존 GAN 기반 디블러링 방법과 달리, 안정성을 확보하기 위해 adversarial 학습을 피하고, 두 단계 모두 L2 손실에 의존한다.
• 캐스케이드 구조 덕분에 디노이징 네트워크와 디블러링 네트워크를 별도로 작동시킬 수 있도록 하여 효율적인 추론과 모듈러 최적화를 가능하게 한다.
• 디블러링 네트워크는 노이즈가 있는 입력에서는 성능이 떨어지지만, 디노이저는 블러에 대해 강건한 점을 활용하여 캐스케이드 구조가 효과적이고 효율적임을 입증한다.

실험 결과

연구 질문

• RQ1 디노이징 및 디블러링 하위망을 공동으로 학습함으로써, 순차적 처리에 비해 잔여 잡음이 디블러링 성능에 미치는 영향을 줄일 수 있는가?
• RQ2 무거운 잡음이 존재하는 상황, 특히 잡음 수준이 알려져 있지 않은 경우에도 공동 학습이 블러 커널 추정 정확도를 향상시키는가?
• RQ3 학습 및 추론 시 잡음 수준 추정이 필요 없이, 단일 NIDF 모델이 여러 잡음 수준에 일반화할 수 있는가?
• RQ4 다양한 잡음 수준에서 NIDF의 성능이 BM3D + SRN 또는 DnCNN + SRN과 같은 순차적 파이프라인과 비교해 어떻게 되는가?
• RQ5 공동 학습이 하위망을 별도로 학습하거나 독립적으로 학습하는 것보다 PSNR, SSIM 및 커널 유사도 점수를 향상시키는가?

주요 결과

• 잡음 수준 $\sigma = 40$ 인 CelebA 데이터셋에서 NIDF는 PSNR 28.64 dB, SSIM 0.8105를 기록하여 다음으로 우수한 방법(BM3D + SRN)의 26.02 dB 및 0.7092를 크게 능가한다.
• 잡음 수준 $\sigma = 30$ 인 GOPRO 데이터셋에서 NIDF는 PSNR 25.98 dB, SSIM 0.7759를 달성하여 최고의 베이스라인(BM3D + SRN)의 25.32 dB 및 0.7646 SSIM을 초월한다.
• 공동 학습 없이(NIDF without JL) 수행한 결과는 전체 NIDF 모델보다 열 劣하다. 이는 성능 향상의 핵심이 공동 최적화임을 입증한다.
• CelebA에서 NIDF는 커널 유사도 0.6498을 기록하여 심한 잡음 하에서도 파나 등 [22]과 같은 최신 기법을 능가함을 보이며, 블러 커널 추정 정확도 향상을 입증한다.
• NIDF는 순차적 파이프라인보다 빠르다: 256×256 이미지에서 PyTorch 기반 Tesla M40에서 0.15초 내에 실행되며, BM3D는 0.21초, SRN은 6.51초이다. 이는 효율성 향상을 보여준다.
• NIDF는 잡음 수준 추정이 필요 없이 모든 잡음 수준에서 우수한 성능를 유지한다. 반면 DnCNN이나 BM3D와 같은 방법들은 아티팩트를 방지하기 위해 정확한 잡음 수준 입력이 필요하다.