[논문 리뷰] NTGAN: Learning Blind Image Denoising without Clean Reference

Rui Zhao, Daniel Pak-Kong Lun외 1명|arXiv (Cornell University)|2020. 09. 09.

Image and Signal Denoising Methods참고 문헌 25인용 수 3

한 줄 요약

NTGAN은 노이즈 제거를 노이즈 이행으로 프레임하는 새로운 비지도 학습 이미지 노이즈 제거 방법을 제안한다. 이는 오직 손상된 이미지로부터만 노이즈 제거 능력을 습득할 수 있도록 하여 실세계 노이즈 벤치마크에서 최신 기술 수준의 성능을 달성한다. 이는 청소된 기준 이미지나 합성 노이즈 가정 없이도 가능하다.

ABSTRACT

Recent studies on learning-based image denoising have achieved promising performance on various noise reduction tasks. Most of these deep denoisers are trained either under the supervision of clean references, or unsupervised on synthetic noise. The assumption with the synthetic noise leads to poor generalization when facing real photographs. To address this issue, we propose a novel deep unsupervised image-denoising method by regarding the noise reduction task as a special case of the noise transference task. Learning noise transference enables the network to acquire the denoising ability by only observing the corrupted samples. The results on real-world denoising benchmarks demonstrate that our proposed method achieves state-of-the-art performance on removing realistic noises, making it a potential solution to practical noise reduction problems.

연구 동기 및 목표

• 합성 노이즈로 훈련된 기존 딥 노이즈 제거기의 실사진 적용 시 낮은 일반화 성능 문제를 해결하기 위해.
• 청소된 기준 이미지 없이도 감독 없이 노이즈 제거를 수행할 수 있는 비지도 학습 방법을 개발하기 위해.
• 노이즈 이행을 핵심 학습 목표로 삼아, 오직 노이즈 이미지에서 직접 노이즈 제거 능력을 학습할 수 있도록 하기 위해.
• 청소된 데이터가 없는 실세계 노이즈 제거 작업에서 성능을 향상시키기 위해.

제안 방법

• 이 방법은 이미지 노이즈 제거를 노이즈 이행 작업으로 포지셔닝하여, 네트워크가 소스 이미지의 노이즈를 타겟 이미지로 이행하도록 학습한다.
• 노이즈 이행 과정에서 실제적인 노이즈 패턴을 생성하도록 유도하기 위해 적대적 훈련을 활용한다.
• 쌍체의 청소된 데이터 없이 오직 노이즈 이미지만을 입력으로 사용하여 네트워크를 엔드 투 엔드로 훈련한다.
• 전달된 노이즈가 원래 노이즈의 통계적 성질을 유지하도록 보장하기 위해 노이즈 일관성 손실을 적용한다.
• 생성된 이미지가 실제 노이즈가 있는 이미지와 구분되지 않도록 유도하기 위해 GAN 기반의 목적함수를 통해 네트워크를 최적화한다.

실험 결과

연구 질문

• RQ1 청소된 기준 이미지가 전혀 없이도 딥 네트워크가 효과적인 블라인드 노이즈 제거를 학습할 수 있는가?
• RQ2 노이즈 이행이 노이즈 제거를 위한 자기지도 신호로 효과적으로 사용될 수 있는가?
• RQ3 합성 노이즈 훈련과는 달리, 오직 실세계 노이즈 이미지만으로부터 학습할 경우 실세계 노이즈에 대해 더 나은 일반화 성능를 달성할 수 있는가?
• RQ4 정답 데이터가 없는 상황에서 적대적 훈련이 노이즈 제거 출력의 현실감과 품질을 향상시킬 수 있는가?

주요 결과

• NTGAN은 청소된 감독이나 합성 노이즈에 의존하는 기존 방법보다 실세계 노이즈 제거 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 이 방법은 실사진에 대해 잘 일반화되어 있으며, 훈련 중에 볼 수 없었던 다양한 복잡한 노이즈 패턴에도 강건함을 보여준다.
• 노이즈 이행을 통해 학습함으로써, 청소된 이미지 감독 없이도 강력한 노이즈 제거 능력을 습득한다.
• 제거 분석 결과, 노이즈 이행 목적이 성능에 결정적인 영향을 미치며, 이 구성 요소를 제거할 경우 성능이 크게 떨어짐을 확인했다.