[논문 리뷰] GAN2GAN: Generative Noise Learning for Blind Denoising with Single Noisy Images

Sungmin Cha, Tae‐Eon Park외 3명|arXiv (Cornell University)|2019. 05. 25.

Image and Signal Denoising Methods참고 문헌 25인용 수 9

한 줄 요약

GAN2GAN은 단일 노이즈 이미지만을 사용하여 블라인드 이미지 노이즈 제거를 위한 새로운 생성 학습 접근법을 제안한다. 정제된 레이블이나 쌍화된 노이즈 이미지가 필요로 하지 않으며, 노이즈를 모델링하고 초기 정제된 추정치를 생성하기 위해 워샤르스타인 GAN을 훈련한 후, N2N 방식의 훈련을 위한 노이즈 쌍을 반복적으로 합성한다. 이로 인해 합성 및 실제 노이즈 환경에서 최신 기술 수준의 성능을 달성하며, 감독 학습 및 N2N 방법과 경쟁 가능한 성능을 보인다.

ABSTRACT

We tackle a challenging blind image denoising problem, in which only single distinct noisy images are available for training a denoiser, and no information about noise is known, except for it being zero-mean, additive, and independent of the clean image. In such a setting, which often occurs in practice, it is not possible to train a denoiser with the standard discriminative training or with the recently developed Noise2Noise (N2N) training; the former requires the underlying clean image for the given noisy image, and the latter requires two independently realized noisy image pair for a clean image. To that end, we propose GAN2GAN (Generated-Artificial-Noise to Generated-Artificial-Noise) method that first learns a generative model that can 1) simulate the noise in the given noisy images and 2) generate a rough, noisy estimates of the clean images, then 3) iteratively trains a denoiser with subsequently synthesized noisy image pairs (as in N2N), obtained from the generative model. In results, we show the denoiser trained with our GAN2GAN achieves an impressive denoising performance on both synthetic and real-world datasets for the blind denoising setting; it almost approaches the performance of the standard discriminatively-trained or N2N-trained models that have more information than ours, and it significantly outperforms the recent baseline for the same setting, extit{e.g.}, Noise2Void, and a more conventional yet strong one, BM3D. The official code of our method is available at https://github.com/csm9493/GAN2GAN.

연구 동기 및 목표

• 단일 노이즈 이미지만 존재하고 정제된 이미지나 쌍화된 노이즈 이미지에 접근할 수 없는 상황에서 블라인드 이미지 노이즈 제거의 과제를 해결한다.
• 정제된 타겟이나 각 이미지당 다수의 노이즈 실측치가 필요로 하는 표준 판별적 훈련 및 Noise2Noise(N2N)의 한계를 극복한다.
• 평균이 0이고, 가감성이며, 상호 독립적인 노이즈를 가정하는 가장 현실적인 블라인드 설정에서 작동하는 방법을 개발한다: 노이즈 분포가 알려져 있지 않다.
• 노이즈나 정제된 데이터에 대한 사전 정보가 없음에도 불구하고, 감독 학습 또는 N2N로 훈련된 모델과 비교할 만한 높은 노이즈 제거 성능을 달성한다.
• 노이즈 모델이 복잡하고 알려져 있지 않은 실제 응용 분야(예: 현미경, CT)에서 효과적인 노이즈 제거를 가능하게 한다.

제안 방법

• 단일 노이즈 이미지에서 노이즈 분포를 학습하고 시뮬레이션하기 위해 워샤르스타인 GAN 기반의 생성 모델을 훈련한다.
• 생성 모델을 사용하여 노이즈 입력에서 거칠고 초도적으로 정제된 이미지(정제된 추정치)를 생성한다.
• 생성된 정제된 이미지를 두 번 노이즈로 오염시켜 인위적인 노이즈 쌍을 합성하고, N2N 방식의 학습을 위한 합성 훈련 쌍을 생성한다.
• 합성된 노이즈 쌍을 사용하여 Noise2Noise(N2N) 목적함수에 따라 CNN 노이즈 제거기 모델을 훈련함으로써 정제된 타겟 없이 자기지도 학습을 가능하게 한다.
• 생성 모델로부터 점차 향상된 정제된 추정치를 반복적으로 재훈련하여 노이즈 제거기를 개선하고 성능을 시간이 지남에 따라 향상시킨다.
• 훈련 안정성 향상과 복원 품질 향상을 위해 생성기에서 사이클 일致성 손실과 시그모이드 활성화 함수를 적용한다.

실험 결과

연구 질문

• RQ1 단일 노이즈 이미지에서 훈련된 생성 모델이 자기지도 노이즈 제거에 사용하기 위해 기저 노이즈 분포를 효과적으로 시뮬레이션할 수 있는가?
• RQ2 학습된 생성 모델에서 유도된 인위적 노이즈 쌍을 사용해 반복적인 N2N 훈련이 블라인드 설정에서 노이즈 제거 성능을 크게 향상시키는가?
• RQ3 단일 노이즈 이미지만 존재할 경우, GAN2GAN은 Noise2Void 및 BM3D와 같은 자기지도 기반 기준 모델보다 어떻게 성능을 냈는가?
• RQ4 제안된 방법이 표준 블라인드 노이즈 제거기가 실패하는 상관관계가 있거나 비정규분포인 복잡한 실제 노이즈(예: 상호의존성, 비정규성)에 일반화 가능한가?
• RQ5 생성 모델에서 유도된 초도 정제된 추정치가 수렴에 필수적인가, 아니면 노이즈 입력에서 직접 훈련을 시작할 수 있는가?

주요 결과

• GAN2GAN은 감독 학습 또는 N2N로 훈련된 모델에 비해 더 적은 감독 정보를 가짐에도 불구하고 PSNR 성능이 거의 동일하거나 이를 초월한다.
• 백색 가우시안 노이즈가 포함된 합성 데이터셋에서 GAN2GAN은 DnCNN-B와 Noise2Void를 모두 능가하며, BM3D와 동등하거나 이를 초월한다.
• 실제 노이즈(예: 현미경, CT)에서는 백색 가우시안 가정 하에 훈련된 불일치하는 블라인드 노이즈 제거기보다 GAN2GAN이 뚜렷이 뛰어난 성능을 보인다.
• 반복적인 G2G(GAN-to-Generated) 단계를 통해 노이즈 제거기를 개선함으로써 일관된 성능 향상이 이루어지며, G2G3에서 최고의 성능을 기록한다.
• GPU에서 이미지당 4ms의 추론 시간을 기록하여 BM3D(4.5–5.0초)에 비해 훨씬 빠른 실용적 효율성을 확보한다.
• 제거 분석 결과 생성기에서 시그모이드 활성화 함수와 사이클 일치성 손실이 고품질의 初기 정제된 추정치를 확보하는 데 필수적임을 확인하였으며, 이는 실제 노이즈 성능에 핵심적이다.