[논문 리뷰] Zero-Shot Noise2Noise: Efficient Image Denoising without any Data

Youssef Mansour, Reinhard Heckel|arXiv (Cornell University)|2023. 03. 20.

Photoacoustic and Ultrasonic Imaging인용 수 8

한 줄 요약

ZS-N2N은 학습 데이터나 노이즈 모델 없이 단일 노이즈 이미지의 다운샘플된 두 뷰 쌍에서 작은 2-layer 네트워크를 학습하여 이미지를 노이즈 제거하며, 낮은 계산량으로 경쟁력 있는 디노이징을 달성합니다.

ABSTRACT

Recently, self-supervised neural networks have shown excellent image denoising performance. However, current dataset free methods are either computationally expensive, require a noise model, or have inadequate image quality. In this work we show that a simple 2-layer network, without any training data or knowledge of the noise distribution, can enable high-quality image denoising at low computational cost. Our approach is motivated by Noise2Noise and Neighbor2Neighbor and works well for denoising pixel-wise independent noise. Our experiments on artificial, real-world camera, and microscope noise show that our method termed ZS-N2N (Zero Shot Noise2Noise) often outperforms existing dataset-free methods at a reduced cost, making it suitable for use cases with scarce data availability and limited computational resources. A demo of our implementation including our code and hyperparameters can be found in the following colab notebook: https://colab.research.google.com/drive/1i82nyizTdszyHkaHBuKPbWnTzao8HF9b

연구 동기 및 목표

• 잡음 유형과 수준에 일반화되는 데이터셋 없이 디노이징을 동기로 삼는다.
• 희소한 데이터와 CPU 배포에 적합한 최소한의 계산 효율성을 가진 디노이징 모델을 개발한다.
• 단일 노이즈 이미지로부터의 학습을 가능하게 하기 위해 Noise2Noise와 Neighbour2Neighbour 개념을 활용한다.
• 디노이징 품질, 일반화, 계산 자원 간에 바람직한 균형을 달성한다.

제안 방법

• 노이즈 이미지 y에서 겹치지 않는 2x2 패치와 고정 커널을 사용하여 두 개의 고정된 다운샘플 뷰 D1(y)와 D2(y)를 생성한다.
• 잔차 학습 손실을 갖는 매우 작은 2-layer 이미지-투-이미지 네트워크를 학습시켜 D1(y)를 D2(y)로 매핑한다.
• 깨끗한 신호가 아니라 잡음 성분의 학습을 촉진하는 잔차 손실을 사용한다.
• 학습을 정규화하고 과적합을 피하기 위해 대칭 손실과 일관성 손실을 도입한다.
• 학습된 네트워크를 원래의 노이즈 이미지에 적용하여 깨끗한 이미지를 추정하게 한다: x̂ = y − f̂θ(y).
• 수렴은 일반적으로 1k–2k 그라디언트 단계가 필요하며 CPU 친화적 디노이징을 가능하게 한다.

Figure 1 : Left and middle plots: PSNR scores for Gaussian and Poission denoising for different noise levels. Note BM3D’s poor performance on Poisson compared to Gaussian noise. Right plot: Time required in seconds to denoise one $256\times 256$ colour image on CPU and GPU, tested on Poisson noise w

실험 결과

연구 질문

• RQ1 데이터세트 없이, 노이즈 모델도 없이 디노이징 방법이 가우시안, 포아송, 실제 세계 잡음에서 경쟁력 있는 PSNR을 달성할 수 있는가?
• RQ2 적절한 손실을 가진 매우 작은 네트워크가 보지 못한 노이즈 수준과 분포에 잘 일반화되는가?
• RQ3 품질, 속도, 메모리 측면에서 제로샷 디노이징이 기존의 제로샷 및 데이터세트 기반 방법과 어떻게 비교되는가?
• RQ4 과적합을 방지하고 성능을 개선하는 데 필수적인 정규화 전략(잔차 손실, 대칭 손실, 일관성 손실)은 무엇인가?

주요 결과

• ZS-N2N은 학습 데이터나 노이즈 모델 없이 가우시안, 포아송 및 실제 카메라와 현미경 노이즈에서 경쟁력 있는 PSNR을 달성한다.
• 약 20k 파라미터의 2-layer 네트워크가 계산량과 메모리 요구를 줄이면서 더 큰 학습 모델보다 성능을 능가할 수 있다.
• 잔차 학습, 대칭 손실, 일관성 손실은 좋은 성능과 과적합 방지에 결정적이다.
• ZS-N2N 디노이징은 앙상블 기반 제로샷 방법에 비해 CPU/ GPU에서 더 빠르고 일반적인 디노이징 네트워크에 비해 수십 배에서 수백 배 더 적은 파라미터를 사용한다.
• 실제 카메라 및 현미경 데이터 세트에서 ZS-N2N은 DIP 및 NB2NB와 같은 기준선과 종종 동등하거나 그 이상이며, 앙상블 없는 추론과 CPU 호환성을 유지한다.

Figure 2 : The Image Pair Downsampler decomposes an image into two images of half the spatial resolution by averaging diagonal pixels of $2\times 2$ non-overlapping patches. In the above example the input is a $4\times 4$ image, and the output is two $2\times 2$ images.