[논문 리뷰] Correction by Projection: Denoising Images with Generative Adversarial Networks

Subarna Tripathi, Zachary C. Lipton외 1명|arXiv (Cornell University)|2018. 03. 12.

Image and Signal Denoising Methods참고 문헌 16인용 수 44

한 줄 요약

이 논문은 GAN 매니폴드에 영상을 투사하여 잠재 코드를 복구함으로써 이미지를 노이즈 제거하고, 잡음 분산 priors를 요구하지 않으면서 BM3D보다 PSNR이 우수함을 보이며, 잠재 공간 선명도 속성(latent-space sharpness attribute)으로 결과를 추가로 향상시킨다.

ABSTRACT

Generative adversarial networks (GANs) transform low-dimensional latent vectors into visually plausible images. If the real dataset contains only clean images, then ostensibly, the manifold learned by the GAN should contain only clean images. In this paper, we propose to denoise corrupted images by finding the nearest point on the GAN manifold, recovering latent vectors by minimizing distances in image space. We first demonstrate that given a corrupted version of an image that truly lies on the GAN manifold, we can approximately recover the latent vector and denoise the image, obtaining significantly higher quality, comparing with BM3D. Next, we demonstrate that latent vectors recovered from noisy images exhibit a consistent bias. By subtracting this bias before projecting back to image space, we improve denoising results even further. Finally, even for unseen images, our method performs better at denoising better than BM3D. Notably, the basic version of our method (without bias correction) requires no prior knowledge on the noise variance. To achieve the highest possible denoising quality, the best performing signal processing based methods, such as BM3D, require an estimate of the blur kernel.

연구 동기 및 목표

• 학습된 이미지 매니폴드로의 투사를 사용하여 잠재 코드 회복을 통한 노이즈 제거의 동기를 부여한다.
• 노이즈가 있는 이미지에서 잠재 벡터를 회복하는 것이 BM3D와 같은 전통적 방법보다 더 높은 품질의 노이즈 제거를 제공한다는 것을 보인다.
• 노이즈 제거를 개선하기 위한 회복된 잠재 벡터의 바이어스 보정(bias correction)을 탐구한다.
• 생성된 이미지 외의 실제 이미지 및 보지 못한 이미지에 대한 노이즈 제거 성능을 입증한다.
• 잠재 공간 속성(선명도)이 노이즈 제거 품질을 더욱 향상시킬 수 있는지 탐구한다.

제안 방법

• phi(z) 와 phi(z')의 차이 제곱 합을 최소화하는 형태로 denoising을 z' ∈ [-1,1]^100에서 최소화 문제로 공식화한다.
• 잠재 벡터를 회복하기 위해 클리핑(클리핑 없음, 프로젝티드 그라디언트, 확률적 클리핑)을 사용하는 그래디언트 디센트를 적용한다.
• 잠재 공간 제약을 강제하기 위해 확률적 클리핑을 적용하고 PSNR을 향상시킨다.
• 노이즈 분산에 걸친 잠재 벡터를 분석하여 선명도 속성을 도입하고, 회복된 벡터에 이 속성을 보강한다 (LVR-SA).
• Gaussian 노이즈를 추가한 CelebA 및 LFW 생성 이미지와 실제 CelebA 이미지에서 평가한다.

실험 결과

연구 질문

• RQ1 손상된 이미지에서 잠재 벡터 회복이 BM3D를 능가하는 노이즈 제거 이미지를 만들어낼 수 있는가?
• RQ2 확률적 클리핑이 단순한 그래디언트 업데이트보다 잠재 벡터 회복을 더 향상시키는가?
• RQ3 잠재 공간 선명도 속성이 생성 이미지와 실제 이미지 모두에서 노이즈 제거 품질을 더 향상시킬 수 있는가?
• RQ4 학습 GAN에 포함되지 않은 보지 못한 이미지에서도 노이즈 제거 프레임워크가 효과적인가?

주요 결과

• 손상된 이미지에 대해 LVR(Latent Vector Recovery)로 노이즈 제거를 수행하면 BM3D보다 더 높은 PSNR을 달성한다.
• 확률적 클리핑은 naive no clipping 및 projected gradient보다 더 높은 PSNR을 보이며(약 1 dB 이득).
• 선명도 속성(LVR-SA)을 추가하면 생성 및 실제 이미지에서 LVR보다 PSNR이 더 개선된다.
• 높은 노이즈 분산에서도 LVR 및 LVR-SA는 명시적 노이즈 분산 지식 없이도 BM3D에 비해 노이즈 제거 이점을 유지한다.
• 생성 데이터에서 노이즈 분산 127일 때, LVR: 33.40 dB 및 LVR-SA: 33.60 dB, BM3D: 29.10 dB; 분산 184일 때, LVR: 22.0 dB 및 LVR-SA: 22.21 dB, BM3D: 18.55 dB.
• 이 방법은 학습 분포를 넘어선 unseen 이미지에 대해 더 우수한 노이즈 제거 품질을 보여준다.