[논문 리뷰] High-Quality Self-Supervised Deep Image Denoising

Samuli Laine, Tero Karras외 2명|arXiv (Cornell University)|2019. 01. 29.

Image and Signal Denoising Methods참고 문헌 38인용 수 34

한 줄 요약

자기지도 노이즈 제거 프레임워크는 블라인드-스팟 합성곱 신경망과 베이즈 후처리를 사용하여 깨끗한 타깃이나 매칭 데이터 없이도 가우시안, 포아송 및 임펄스 노이즈에 대해 거의 감독학습 수준의 품질을 달성합니다. 또한 알려지지 않은 노이즈 매개변수와 가변 노이즈 수준을 처리합니다.

ABSTRACT

We describe a novel method for training high-quality image denoising models based on unorganized collections of corrupted images. The training does not need access to clean reference images, or explicit pairs of corrupted images, and can thus be applied in situations where such data is unacceptably expensive or impossible to acquire. We build on a recent technique that removes the need for reference data by employing networks with a "blind spot" in the receptive field, and significantly improve two key aspects: image quality and training efficiency. Our result quality is on par with state-of-the-art neural network denoisers in the case of i.i.d. additive Gaussian noise, and not far behind with Poisson and impulse noise. We also successfully handle cases where parameters of the noise model are variable and/or unknown in both training and evaluation data.

연구 동기 및 목표

• 깨끗한 참조가 이용 불가능하고 데이터가 오직 노이즈 이미지인 상황에서 디노이징을 동기부여한다.
• 마스킹 페널티 없이 자기지도 훈련을 가능하게 하는 블라인드-스팟 컨볼루션 네트워크 아키텍처를 제안한다.
• 테스트 시점에 노이즈 모델을 반영하는 노이즈를 중심 픽셀과 함께 포함하는 베이즈 후처리 단계를 도입한다.
• 다중 노이즈 모델(가우시안, 포아송, 임펄스)에서 미지수 혹은 가변적인 노이즈 매개변수에 대해 강인함을 보인다.
• 성능을 비교하기 위해 감독 baseline 및 마스킹 기반 자기지도 방법과의 비교를 통해 성능 트레이드를 확립한다.

제안 방법

• 중심 픽셀이 수용 필드에서 제외되도록 블라인드-스팟 네트워크를 사용하여 단일 노이즈 이미지로도 학습이 가능하게 한다.
• Ω_y로부터 μ_x와 Σ_x를 예측하는 다변량 가우시안으로 p(x|Ω_y)를 모델링하도록 학습한다.
• 노이즈 모델 p(y|x)와 학습된 사전 p(x|Ω_y)를 결합하여 닫힌 형식의 포스트러 p(x|y,Ω_y)를 유도하고 포스트러미안(mean)을 디노이징에 사용한다.
• Σ_x를 양의 준정수를 보장하기 위해 Σ_x = A_x^T A_x 형태의 상삼각 행렬 A_x로 매개화한다.
• 가우시안 노이즈의 경우 Σ_y = Σ_x + σ^2 I 및 μ_y = μ_x를 만족하도록 처리하며, 이미지별로 σ를 학습하거나 보조 네트워크로 예측할 수 있다.
• 적절한 노이즈 모델의 우도와 모멘트 매칭을 통해 훈련 손실 및 포스트eriors(Eq. 1–10)를 얻어 포즈를 포괄적으로 확장한다.
• 세션 백본으로 다섯 레벨 U-Net을 사용하고 3개의 1x1 레이어를 포함하며, 대규모 자연 이미지 데이터셋으로 학습하고 Kodak, BSD300, Set14에서 평가한다.

실험 결과

연구 질문

• RQ1 자기지도 학습이 paired가 아닌 노이즈 이미지에서 일반적인 노이즈 모델(가우시안, 포아송, 임펄스)에 대해 감독 방법에 근접한 디노이징 품질을 달성할 수 있는가?
• RQ2 마스킹 없이 효율적으로 학습되는 블라인드-스팟 아키텍처를 어떻게 학습시킬 수 있으며, 베이즈 포스트러 averaging이 디노이징 성능을 어떻게 개선하는가?
• RQ3 미지의 또는 가변적인 노이즈 매개변수(σ, λ, α)가 성능에 영향을 주는가, 학습 중에 학습되거나 추정될 수 있는가?
• RQ4 사전의 다변량 상관관계(Σ_x) 모델링과 대각 공분산으로 간소화하는 것 사이의 차이가 성능에 어떤 영향을 주는가?
• RQ5 제안된 방법이 Noise2C, Noise2Noice, 및 마스킹 기반 자기지도 방법과 비교해 품질 및 학습 효율성 면에서 어떤 차이가 있는가?

주요 결과

• 가우시안 노이즈의 경우, 전체 블라인드-스팟 + 포스트러 평균 접근법이 감독 베이스라인(Noise2Clean) 및 Noise2Noise와 거의 유사하게 동작하며, 다변량 Σ_x가 대각 Σ_x보다 우수하다.
• 학습된 μ_x와 Σ_x를 이용한 포스트러 평균 디노이징은 μ만 사용하는 절차 및 마스킹 기반 학습 대비 상당한 이점을 보이며, 색 채널을 함께 모델링할 때 특히 효과가 크다.
• σ가 알려지지 않았거나 추정될 때도 방법은 경쟁력을 유지하고, 가변적인 σ에서도 데이터셋 전반에 걸쳐 PSNR이 유지되거나 약간의 하락이 발생하더라도 높은 성능을 보인다.
• 포아송 노이즈의 경우 고정 노이즈 하에서 Noise2Clean Baseline에 0.1–0.2 dB 이내이며, λ가 알려지지 않더라도 견고함을 유지하나 Set14와 같은 일부 데이터셋에서 매개변수 추정 시 더 큰 저하가 나타난다.
• 임펄스 노이즈의 경우 중심 픽셀 정보를 베이즈 융합으로 크게 활용해 μ만 사용한 절차 및 마스킹 기반 학습보다 성능이 우수하며, 특정 설정에서 Noise2Clean baseline보다 약간 뒤처질 수 있다.
• 전반적으로 제안된 자기지도 방식은 다양한 노이즈 모델에서 감독 모델에 근접한 디노이징 품질을 달성할 수 있으며, 훈련 효율성과 데이터 요구 측면에서 이점을 제공한다.