[논문 리뷰] Noisy-As-Clean: Learning Unsupervised Denoising from the Corrupted Image.

Jun Xu, Yuan Huang외 4명|arXiv (Cornell University)|2019. 06. 17.

Image and Signal Denoising Methods참고 문헌 28인용 수 11

한 줄 요약

이 논문은 노이즈 이미지를 유일한 타겟으로 삼고, 유사한 합성 노이즈를 보강하여 오직 손상된 이미지만을 사용해 네트워크를 훈련시키는 자기지도 학습 denoising 방법인 Noisy-As-Clean(NAC)을 제안한다. 이 방법은 합성 노이즈와 실제 노이즈 모두에서 이전의 지도 학습 및 비지도 학습 방법과 비견되거나 그 이상의 성능을 달성하며, 정제된 참조 쌍이 필요 없이 도메인 갭을 효과적으로 해소한다.

ABSTRACT

Supervised deep networks have achieved promisingperformance on image denoising, by learning image priors andnoise statistics on plenty pairs of noisy and images. Unsupervised denoising networks are trained with only noisy images. However, for an unseen corrupted image, both supervised andunsupervised networks ignore either its particular image prior, the noise statistics, or both. That is, the networks learned from external images inherently suffer from a domain gap problem: the image priors and noise statistics are very different between the training and test images. This problem becomes more clear when dealing with the signal dependent realistic noise. To circumvent this problem, in this work, we propose a novel Noisy-As-Clean (NAC) strategy of training self-supervised denoising networks. Specifically, the corrupted test image is directly taken as the clean target, while the inputs are synthetic images consisted of this corrupted image and a second and similar corruption. A simple but useful observation on our NAC is: as long as the noise is weak, it is feasible to learn a self-supervised network only with the corrupted image, approximating the optimal parameters of a supervised network learned with pairs of noisy and images. Experiments on synthetic and realistic noise removal demonstrate that, the DnCNN and ResNet networks trained with our self-supervised NAC strategy achieve comparable or better performance than the original ones and previous supervised/unsupervised/self-supervised networks. The code is publicly available at this https URL.

연구 동기 및 목표

• 훈련 데이터와 테스트 데이터 간의 이미지 사전 지식과 노이즈 통계의 불일치로 인해 발생하는 이미지 denoising의 도메인 갭을 해결하기 위해.
• 노이즈-정제 이미지 쌍이 없는 상황에서도 효과적인 자기지도 학습을 가능하게 하기 위해.
• 전통적인 지도 학습 및 비지도 학습 방법이 분포 이탈로 어려움을 겪는 신호에 따라 변하는 노이즈(signal-dependent noise)에 대해 성능을 향상시키기 위해.
• 외부 데이터 분포를 활용하지 않고도 테스트 시 손상된 이미지만을 활용하는 훈련 전략을 개발하기 위해.

제안 방법

• 훈련 중에 입력 노이즈 이미지를 타겟 정제 이미지로 간주하여, 이를 자기지도 타겟으로 활용한다.
• 합성 노이즈는 원본 노이즈 이미지에 두 번째로 유사한 노이즈 레이어를 추가하여 생성한다.
• 네트워크는 이중으로 손상된 입력에서 원본 노이즈 이미지를 재구성하도록 훈련되며, 이를 통해 자기지도 학습을 통해 노이즈 제거를 학습한다.
• 이 방법은 약한 노이즈 조건에서 지도 학습 모델의 최적 파rameter를 근사할 수 있다는 가정에 기반한다.
• 표준 L2 또는 유사한 재구성 손실을 최소화하는 방식으로 단순한 잔차 신경망 또는 DnCNN 아키텍처를 사용한다.
• 노이즈의 구조적 유사성에 기반하여 이 방법은 합성 노이즈뿐 아니라 실제 세계의 노이즈, 특히 신호에 따라 변하는 노이즈에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 오직 손상된 이미지로만 훈련된 자기지도 학습 denoising 네트워크가 지도 학습 방법과 유사한 성능을 달성할 수 있는가?
• RQ2 Noisy-As-Clean 전략이 이미지 사전 지식과 노이즈 통계의 불일치로 인한 도메인 갭을 효과적으로 완화하는가?
• RQ3 NAC로 훈련된 네트워크의 성능은 실제 노이즈에서 지도 학습, 비지도 학습, 이전 자기지도 학습 denoising 방법과 비교해 어떻게 되는가?
• RQ4 신호에 따라 변하는 노이즈에 대해 NAC 방법이 i.i.d. 노이즈보다 더 어렵지만 강건한가?
• RQ5 정제된 기준 데이터가 없이도 네트워크가 새로운 손상된 이미지에 일반화할 수 있는가?

주요 결과

• NAC 방법은 합성 노이즈와 실제 세계 노이즈 벤치마크에서 원래의 지도 학습 DnCNN 및 ResNet 네트워크와 유사하거나 그 이상의 성능을 달성한다.
• BSD100 및 Urban100 데이터셋에서 NAC로 훈련된 모델은 이전의 자기지도 학습 및 비지도 학습 denoising 방법보다 PSNR 및 SSIM 측면에서 뛰어난 성능을 보였다.
• 신호에 따라 변하는 특성을 가진 실제 노이즈 패턴, 특히 새로운 패턴에 대해서도 강력한 일반화 성능를 보였다.
• 성능 향상은 자기지도 NAC 목적함수를 통해 이미지 사전 지식과 노이즈 통계가 효과적으로 정렬되었기 때문으로 기인한다.
• 정제된 쌍이 필요 없이도 품질을 유지하거나 향상시키며, 다양한 데이터셋과 노이즈 유형에서 검증된 바에 따라 denoising 품질을 유지한다.
• 코드는 공개되어 있어 재현성과 자기지도 학습 기반 이미지 denoising 분야의 향후 연구를 지원한다.