[논문 리뷰] Variational Denoising Network: Toward Blind Noise Modeling and Removal

Zongsheng Yue, Hongwei Yong외 3명|arXiv (Cornell University)|2019. 08. 29.

Image and Signal Denoising Methods인용 수 212

한 줄 요약

본 논문은 Variational Denoising Network (VDN)를 제안한다. 이는 D-Net과 S-Net으로 구현된, 단일 노이즈 이미지로부터 잠재 깨끗한 이미지와 비 i.i.d. 노이즈 분포를 함께 추정하는 블라인드 노이즈 제거를 위한 베이지안 변분 추론 프레임워크이다.

ABSTRACT

Blind image denoising is an important yet very challenging problem in computer vision due to the complicated acquisition process of real images. In this work we propose a new variational inference method, which integrates both noise estimation and image denoising into a unique Bayesian framework, for blind image denoising. Specifically, an approximate posterior, parameterized by deep neural networks, is presented by taking the intrinsic clean image and noise variances as latent variables conditioned on the input noisy image. This posterior provides explicit parametric forms for all its involved hyper-parameters, and thus can be easily implemented for blind image denoising with automatic noise estimation for the test noisy image. On one hand, as other data-driven deep learning methods, our method, namely variational denoising network (VDN), can perform denoising efficiently due to its explicit form of posterior expression. On the other hand, VDN inherits the advantages of traditional model-driven approaches, especially the good generalization capability of generative models. VDN has good interpretability and can be flexibly utilized to estimate and remove complicated non-i.i.d. noise collected in real scenarios. Comprehensive experiments are performed to substantiate the superiority of our method in blind image denoising.

연구 동기 및 목표

• 현실 세계의 노이즈가 비 i.i.d.이고 사전에 정의하기 어려운 blind 이미지 노이즈 제거를 동기 부여하고 다룬다.
• 깨끗한 이미지와 픽셀당 노이즈 분산을 잠재 변수로 간주하는 완전한 베이지안 모델을 제안한다.
• 강인한 추론과 노이즈 추정에 대한 명시적 후방 분포를 제공하는 변분 추론 프레임워크를 개발한다.
• 학습 데이터 너머의 복잡한 노이즈 분포에 대한 광범위한 일반화를 시연한다.

제안 방법

• 비 i.i.d. 픽셀 단위 가우시안 노이즈를 갖고 y_i ~ N(z_i, sigma_i^2)로 수식을 설정한다.
• 사전 분포로 시뮬레이션된 깨끗한 이미지 x를 사용하여 z_i ~ N(x_i, epsilon_0^2)로 가정한다.
• xi_i를 가우시안 필터 처리된 분산 맵에서 얻어 각 sigma_i^2 ~ IG(p^2/2 - 1, p^2 xi_i/2)로 두는다.
• D-Net과 S-Net이 mu_i, m_i^2, alpha_i, beta_i를 예측하는 q(z|y)와 q(sigma^2|y) 변분 후방을 채택한다.
• log p(y)의 계산 가능한 변분 하한을 최대화하여 엔드 투 엔드 학습 목적을 도출한다.
• 테스트 시 D-Net에서 mu로, S-Net에서 추정된 노이즈 분산으로 노이즈 제거 이미지를 출력한다.

실험 결과

연구 질문

• RQ1 사전 지식 없이도 정확한 노이즈 모델을 미리 알지 못하더라도 통합된 베이지안 프레임워크가 공간적으로 변화하는 노이즈를 함께 제거하고 추정할 수 있는가?
• RQ2 명시적 후방 형태를 가진 변분 접근법이 기존 CNN 노이즈 제거 방식에 비해 보이지 않는 비 i.i.d. 노이즈에 대한 일반화를 개선하는가?
• RQ3 단일 노이즈 이미지에서 잠재 깨끗한 이미지와 픽셀 단위 노이즈 분산을 D-Net/S-Net 아키텍처가 얼마나 잘 복구하는가?
• RQ4 명시적 노이즈 모델링이 합성 및 실제 데이터셋에서 해석 가능한 노이즈 맵과 강인한 노이즈 제거를 제공하는가?

주요 결과

• VDN은 여러 테스트 세트에서 합성 비 i.i.d. 가우시안 노즈에 대해 경쟁 방법을 능가한다.
• VDN은 비 i.i.d. 노이즈에서 FFDNet보다 더 높은 PSNR을 달성하고 학습 노이즈 바이어스에 대한 과적합이 더 적게 나타난다.
• 혼합 데이터 세트로 학습한 후 실제 벤치마크인 SIDD와 DND에서 경쟁력 있거나 우수한 결과를 보인다.
• S-Net은 이미지 내용 및 노이즈의 현실성에 상관 관계가 있는 타당한 노이즈 분산 맵을 예측할 수 있다.
• 이 프레임워크는 AWGN 하에서도 견고하며 추정된 노이즈 분산 통계로 해석 가능성을 제공한다.
• epsilon_0^2를 매우 작게 설정하면 degenerate MSE 손실이 발생하여 순수하게 판별적 모델에서의 과적합을 설명한다.