[논문 리뷰] Noise2Void - Learning Denoising from Single Noisy Images

Alexander Krull, Tim-Oliver Buchholz외 1명|arXiv (Cornell University)|2018. 11. 27.

Image and Signal Denoising Methods참고 문헌 21인용 수 12

한 줄 요약

Noise2Void (N2V)는 정제된 타겟이나 쌍화된 노이즈 이미지가 필요 없이 단일 노이즈 이미지만을 사용하여 컨volutional neural networks를 위한 이미지 노이즈 제거를 학습하는 딥러닝 방법이다. 이미지 신호의 예측 가능성과 픽셀 단위로 독립적인 노이즈를 활용함으로써 기존의 전통적 방법 및 Noise2Noise 방법과 유사한 성능을 달성하며, 정답 데이터가 확보되지 않는 실제 생물의학 영상 데이터에 대한 학습이 가능하다.

ABSTRACT

The field of image denoising is currently dominated by discriminative deep learning methods that are trained on pairs of noisy input and clean target images. Recently it has been shown that such methods can also be trained without clean targets. Instead, independent pairs of noisy images can be used, in an approach known as Noise2Noise (N2N). Here, we introduce Noise2Void (N2V), a training scheme that takes this idea one step further. It does not require noisy image pairs, nor clean target images. Consequently, N2V allows us to train directly on the body of data to be denoised and can therefore be applied when other methods cannot. Especially interesting is the application to biomedical image data, where the acquisition of training targets, clean or noisy, is frequently not possible. We compare the performance of N2V to approaches that have either clean target images and/or noisy image pairs available. Intuitively, N2V cannot be expected to outperform methods that have more information available during training. Still, we observe that the denoising performance of Noise2Void drops in moderation and compares favorably to training-free denoising methods.

연구 동기 및 목표

• 정제된 타겟 이미지가 확보되지 않는 상황, 특히 생물의학 영상에서 딥러닝 기반 노이즈 제거 모델을 학습하는 데 도전하는 것.
• 기존의 Noise2Noise (N2N)와 같은 방법들이 독립적으로 노이즈가 가해진 이미지 쌍이 필요하다는 한계를 극복하는 것.
• 단일 노이즈 데이터셋에서 직접 끝에서 끝까지 노이즈 제거 네트워크를 학습할 수 있는 학습 체계를 개발하는 것.
• 정제된 이미지나 쌍화된 노이즈 이미지를 물리적으로 확보하기 어려운 상황에서 딥러닝 기반 노이즈 제거의 실용적 적용을 가능하게 하는 것.
• 기존의 방법보다 더 적은 감독 신호를 가짐에도 불구하고 N2V가 강력한 노이즈 제거 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 중앙 픽셀의 값을 그 주변 맥락에서 예측하도록 학습하는 자기지도 학습 체계를 제안하며, 학습 중에는 중앙 픽셀을 마스킹한다.
• 중앙 픽셀의 노이즈에 영향을 받지 않는 손실 함수를 사용하여, 네트워크의 예측이 주변 맥락에만 의존하도록 보장한다.
• 공간적 세부 정보를 유지하고 특징 학습을 향상시키기 위해 스위프 커넥션을 갖춘 수정된 U-Net 아키텍처를 활용한다.
• 쌍화된 노이즈 이미지나 정제된 타겟이 필요 없이, 샘플당 단일 노이즈 이미지만을 사용하여 네트워크를 학습한다.
• 신호가 局소 맥락으로부터 예측 가능하고, 노이즈가 픽셀 단위로 독립적이며 동일하게 분포된다는 가정에 기반한다.
• 학습 중 중앙 픽셀을 마스킹하는 '바위' 마스크 전략을 도입하여, 네트워크가 주변 수용장에 의존해 그 값을 추론하도록 유도한다.

실험 결과

연구 질문

• RQ1 정제된 타겟이나 쌍화된 노이즈 이미지가 전혀 없이, 샘플당 단일 노이즈 이미지만을 사용하여 딥 네트워크를 효과적으로 노이즈 제거를 위해 학습시킬 수 있는가?
• RQ2 학습 데이터로 단일 노이즈 이미지만을 사용할 경우, N2V의 성능이 기존의 감독 학습 기반 노이즈 제거 방법과 Noise2Noise (N2N)와 비교해 어떻게 되는가?
• RQ3 기본 가정인 신호의 예측 가능성과 픽셀 단위로 독립적인 노이즈가 위반될 경우, N2V의 실패 모드는 어떠한가?
• RQ4 정제된 이미지나 쌍화된 노이즈 이미지가 확보되지 않는 실제 생물의학 영상 데이터에 N2V를 성공적으로 적용할 수 있는가?
• RQ5 N2V는 실제 현미경 영상 데이터에서 숨겨진 체계적 노이즈 패턴을 드러내는가? 이는 체계적 노이즈를 다루는 데에 한계가 있음을 시사하는가?

주요 결과

• N2V는 정제된 타겟이나 쌍화된 노이즈 이미지가 없이도 기존의 감독 학습 기반 방법과 Noise2Noise (N2N)와 유사한 노이즈 제거 성능을 달성한다.
• BSD68 데이터셋에서 N2V는 평균 및 중앙값 필터와 같은 비학습 기반 기준보다 뛰어나며, 가우시안 노이즈 수준 σ=40일 때 PSNR 31.2를 기록한다.
• 정제된 타겟이 일반적으로 확보되지 않는 실제 플루오레센스 현미경 및 크리오-TEM 데이터에서 N2V는 잘 작동하여 생물의학 영상 분야에서 실용적 응용이 가능하다.
• 구조적 노이즈가 픽셀 단위 독립성의 가정을 위반할 경우, N2V는 비구조적 노이즈는 제거하지만 기저의 패턴을 드러내며 체계적 노이즈를 다루는 데의 한계를 보여준다.
• 매우 비정규적 또는 예측 불가능한 신호가 존재하는 극한의 경우, N2V는 복잡한 무늬나 예측 가능성의 낮은 영역에서 더 높은 픽셀 단위 오차를 보인다.
• 실제 현미경 데이터에서 체계적 영상 오류(예: 줄무늬 패턴)를 성공적으로 드러내어, N2V가 체계적 노이즈 성분에 민감함을 입증한다.