[논문 리뷰] Noise2Self: Blind Denoising by Self-Supervision

Joshua Batson, Löıc A. Royer|arXiv (Cornell University)|2019. 01. 30.

Cell Image Analysis Techniques인용 수 120

한 줄 요약

tldr: 본 논문은 Noise2Self를 제시하며, 입력의 일부를 마스킹하고 마스킹된 값을 예측하여 깨끗한 타깃 없이도 노이즈 제거를 학습하는 자기지도, J-invariant denoising 방법이며, Gaussian-process 이론과 실용적인 UNet 기반 실험으로 뒷받침됩니다.

ABSTRACT

We propose a general framework for denoising high-dimensional measurements which requires no prior on the signal, no estimate of the noise, and no clean training data. The only assumption is that the noise exhibits statistical independence across different dimensions of the measurement, while the true signal exhibits some correlation. For a broad class of functions ("$\mathcal{J}$-invariant"), it is then possible to estimate the performance of a denoiser from noisy data alone. This allows us to calibrate $\mathcal{J}$-invariant versions of any parameterised denoising algorithm, from the single hyperparameter of a median filter to the millions of weights of a deep neural network. We demonstrate this on natural image and microscopy data, where we exploit noise independence between pixels, and on single-cell gene expression data, where we exploit independence between detections of individual molecules. This framework generalizes recent work on training neural nets from noisy images and on cross-validation for matrix factorization.

연구 동기 및 목표

• 깨끗한 ground truth 데이터가 필요하지 않은 노이즈 제거 방법을 동기화하고 개발한다.
• 자체 감독 예측기가 Gaussian counterpart와 비교하여 이론적 보장을 제공한다.
• 실용적인 마스킹 체계와 J-invariant 노이즈 제거기를 구현하기 위한 학습 가능한 아키텍처를 제안한다.
• 신경망과 보정 분석을 활용하여 다양한 데이터셋에서 효과를 입증한다.

제안 방법

• J-invariant 자기지도학습을 형식화하여 예측기가 마스킹되거나 보간된 입력을 사용해 마스킹된 좌표를 예측하도록 한다.
• g(x)_J := f_theta(1_J^c * x_J + 1_J * s(x))_J에서 s(x)는 로컬 보간(예: 고정 커널)으로 정의한다.
• 가우시안 가정하에서 최적의 J-invariant 예측기가 Gaussian 경우보다 못하지 않으며 x_J^c를 조건화하면 MSE에 한계가 생김을 보여주는 Gaussian-process 기반 보조정리 및 명제를 제시한다.
• Uniform Pixel Selection 마스킹과 정보 누설 문제를 논의하고, 예측에 영향을 주지 않는 진정한 J-invariant 체계를 적극 권장한다.
• 자기지도 예측기를 원래의 잡음 입력과 선형 혼합하는 경우 PSNR을 개선할 수 있는 가능성을 제시하기 위해 상관없는 불편향 추정기의 선형 조합을 제안하고 분석한다.
• 랜덤화된 J(좌표의 하위집합)와 UNet 아키텍처로 학습하고, 추론은 진정한 J-invariance 또는 전체 입력 적용 중 하나의 옵션으로 수행한다.

실험 결과

연구 질문

• RQ1 J-invariant 자기지도 설정을 이용해 깨끗한 타깃 없이도 노이즈 제거를 효과적으로 학습할 수 있는가?
• RQ2 자체 지도 예측기가 평균 제곱 오차 측면에서 Gaussian 기준선과 비교하면 어떤 차이가 있는가?
• RQ3 진정한 J-invariance를 구현하고 노이즈 제거 성능을 극대화하는 마스킹/보간 전략은 무엇인가?
• RQ4 자체 지도 예측기를 원래의 잡음 입력과 선형으로 결합하는 것이 이점이 있는가, 그리고 이것이 PSNR에 어떤 영향을 미치는가?

주요 결과

• 가우시안-프로세스 기반의 결과는 자체 지도 J-invariant 예측기가 해당 Gaussian 예측기와 대등하거나 더 우수하다는 것을 보여준다. (제1 명제)
• 일정한 조건에서 자체 지도 추정기를 원시 입력과 최적의 선형 혼합으로 결합하면 분산이 감소하고 PSNR이 개선될 수 있다. (섹션 3.2)
• Uniform Pixel Selection 마스킹은 로컬 분포를 추정할 때 예측하려는 값을 제외하는 등 J-invariance를 보장하기 위한 주의가 없으면 예측기에 편향을 줄 수 있다; 저자들은 로컬 분포를 추정할 때 예측 중인 값을 제외하는 것을 제안한다.
• 랜덤화된 J와 UNet으로 학습하면 진정으로 J-invariant한 예측을 만들 수 있으며, 전체 입력으로의 추론은 평가된 데이터셋에서 엄밀히 J-invariant 버전보다 약 0.5 dB의 PSNR 향상을 보일 수 있다.
• 저자들은 ground-truth 참조 없이 최적 매개변수를 선택하기 위해 자기지도 손실을 사용해 전통적인 노이즈 제거기(중앙값, 웨이블릿, NL-means)를 보정한다(보정 도표).
• Hànzì, CellNet, ImageNet에서 UNet을 이용한 실험은 합성 및 실제 노이즈 모델에서 실용적인 자기지도 노이즈 제거를 시연한다.