[논문 리뷰] Joint self-supervised blind denoising and noise estimation

Jean Ollion, Charles Ollion외 3명|arXiv (Cornell University)|2021. 02. 16.

Image and Signal Denoising Methods참고 문헌 25인용 수 6

한 줄 요약

이 논문은 정제된 데이터나 명시적인 노이즈 모델링 없이 오직 노이즈가 있는 이미지만을 사용하여 디노이징 네트워크(D-net)와 노이즈 분포 추정기(N-net)를 공동으로 훈련하는 자기지도 학습 기반 블라인드 디노이징 방법을 제안한다. 이 방법은 6개의 생물의학 영상 데이터셋에서 최신 자기지도 학습 기반 방법보다 뛰어난 성능을 보이며, 복잡한 비대칭 노이즈 분포를 가우시안 혼합 모델(GMM)을 통해 정확하게 모델링함으로써 더 높은 PSNR와 SSIM를 달성하고 잡음 외부 요인을 줄였다.

ABSTRACT

We propose a novel self-supervised image blind denoising approach in which two neural networks jointly predict the clean signal and infer the noise distribution. Assuming that the noisy observations are independent conditionally to the signal, the networks can be jointly trained without clean training data. Therefore, our approach is particularly relevant for biomedical image denoising where the noise is difficult to model precisely and clean training data are usually unavailable. Our method significantly outperforms current state-of-the-art self-supervised blind denoising algorithms, on six publicly available biomedical image datasets. We also show empirically with synthetic noisy data that our model captures the noise distribution efficiently. Finally, the described framework is simple, lightweight and computationally efficient, making it useful in practical cases.

연구 동기 및 목표

• 정제된 학습 데이터가 없고 노이즈가 복잡하며 잘 모델링되지 않는 생물의학 영상에서의 블라인드 디노이징 문제를 해결하기 위해.
• 노이즈 특성의 해석이 어려우며 체크ered 패턴과 같은 잡음 외부 요인을 야기하는 기존 자기지도 학습 디노이징 방법의 개선을 위해.
• 정제된 감독 없이 오직 노이즈가 있는 관측값만을 사용하여 청소년 신호와 노이즈 분포를 공동으로 학습하는 프레임워크를 개발하기 위해.
• 실제 생물의학 영상 처리 응용 분야에 적합한 경량화, 효율적이고 해석 가능한 솔루션을 제공하기 위해.

제안 방법

• 이 방법은 D-net(디노이징용)과 N-net(노이즈 분포 추정용)이라는 두 개의 신경망을 사용하며, 모두 마스킹된 입력 패치를 사용하여 자기지도 학습 방식으로 훈련된다.
• 훈련은 마스킹된 픽셀에 대한 복원 손실을 최소화하는 데 기반하며, 네트워크는 오직 이웃한 노이즈가 있는 관측값만을 사용하여 원래 픽셀 값을 예측한다.
• N-net는 노이즈 분포를 가우시안 혼합 모델(GMM)로 모델링하여, 복잡하고 비대칭적이며 다중모달인 노이즈 특성을 정확하게 포착할 수 있다.
• 프레임워크는 청소년 신호가 주어진 조건 하에 노이즈 있는 관측값이 조건부 독립적이라는 가정을 바탕으로, 정제된 감독 없이 공동 훈련이 가능하다.
• 마스킹 전략은 네트워크가 국소적 신호 구조를 학습하도록 하여 정체 함수를 암기하는 것을 방지한다.
• 이 방법은 신호와 노이즈 분포의 공동 추정을 가능하게 하는 새로운 모델링 프레임워크에 수학적으로 기반한다.

실험 결과

연구 질문

• RQ1 정제된 학습 데이터가 없이도 자기지도 학습 방법이 청소년 신호와 노이즈 분포를 공동으로 학습할 수 있는가?
• RQ2 신경망은 실제 생물의학 영상에서 비대칭적이거나 다중모달인 복잡한 비정규 노이즈 분포를 얼마나 잘 추정할 수 있는가?
• RQ3 신호와 노이즈를 공동으로 추정하는 것이 단지 청소년 신호만 예측하는 기존 자기지도 학습 접근법보다 디노이징 성능을 향상시키는가?
• RQ4 노이즈 분포를 모델링하는 것이 체크ered 패턴과 같은 고주파 잡음 외부 요인을 줄이는 데 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 노이즈 특성이 다양한 다양한 생물의학 영상 데이터셋 간에 일반화 가능한가?

주요 결과

• 제안된 방법은 6개의 생물의학 영상 데이터셋에서 최신 자기지도 학습 기반 방법인 DecoNoising보다 평균적으로 +1.42 dB의 PSNR 향상을 달성했다.
• 정제된 데이터가 없는 상황에서도 감독 학습 기반의 CARE 방법보다 평균적으로 +1.49 dB의 PSNR 향상을 보이며 뛰어난 성능을 입증했다.
• N-net는 복잡한 노이즈 분포를 효과적으로 포착하며, 단일 정규분포 대비 가우시안 혼합 모델(GMM)이 경험적 노이즈 분포와 예측된 분포 간의 쿨백-라이블러 발산을 감소시켰다.
• 시각적 결과에서는 눈에 띄는 잡음 없이 더 매끄럽고 선명하며 더 세밀한 이미지를 생성함으로써 N2V, DecoNoising 및 가우시안 필터링보다 뛰어난 성능을 보였다.
• N-net에 GMM를 사용함으로써 6개 데이터셋 중 두 곳에서 명백한 PSNR 향상이 관찰되어, 융통성 있는 노이즈 모델링의 이점이 입증되었다.
• 프레임워크는 계산적으로 효율적이고 경량화되어 실제 생물의학 영상 처리 파이프라인에의 실용적 구현에 적합하다.