[논문 리뷰] One Model to Reconstruct Them All: A Novel Way to Use the Stochastic Noise in StyleGAN

Christian Bartz, Joseph Bethge외 2명|arXiv (Cornell University)|2020. 10. 21.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 사전 훈련된 스타일 제너레이터를 사용하여 다양한 데이터 도메인에서 고품질 이미지를 재구성하는 새로운 스타일 제너레이티브 어웨이저를 제안한다. 이는 확률적 노이즈를 학습 가능한 특징 공간으로 활용하여 사전 훈련된 제너레이터의 미세조정 없이도 도메인 간 재구성을 가능하게 한다. 이 방법은 단일 GPU에서 최대 초당 40장의 이미지를 처리하며, 이는 이전 방법 대비 28배 빠른 속도이며, 작업에 특화된 훈련 없이도 강력한 노이즈 제거 성능을 보여준다.

ABSTRACT

Generative Adversarial Networks (GANs) have achieved state-of-the-art performance for several image generation and manipulation tasks. Different works have improved the limited understanding of the latent space of GANs by embedding images into specific GAN architectures to reconstruct the original images. We present a novel StyleGAN-based autoencoder architecture, which can reconstruct images with very high quality across several data domains. We demonstrate a previously unknown grade of generalizablility by training the encoder and decoder independently and on different datasets. Furthermore, we provide new insights about the significance and capabilities of noise inputs of the well-known StyleGAN architecture. Our proposed architecture can handle up to 40 images per second on a single GPU, which is approximately 28x faster than previous approaches. Finally, our model also shows promising results, when compared to the state-of-the-art on the image denoising task, although it was not explicitly designed for this task.

연구 동기 및 목표

• 단일 사전 훈련된 스타일 제너레이터를 사용하여 다양한 데이터 도메인 간 고해상도 이미지 재구성을 가능하게 하기 위해.
• 스타일 제너레이터의 확률적 노이즈가 무작위 변동을 넘어서 기능적인 역할을 할 수 있는지 조사하기 위해.
• 에코더와 디코더의 훈련을 서로 다른 데이터셋에서 분리하여 효율적인 제너레이터 역전파 방법을 개발하기 위해.
• 노이즈를 주요 제어 메커니즘으로 사용할 경우 잠재 코드의 의미적 표현력이 어떻게 되는지 탐구하기 위해.
• 이를 바탕으로 이미지 노이즈 제거 성능을 평가하기 위해, 작업에 특화된 훈련 없이도 실용적인 응용에서의 성능을 검토하기 위해.

제안 방법

• 사전 훈련된 스타일 제너레이터를 고정된 디코더로 사용하고, 다른 데이터셋에서 훈련된 리스넷 기반 에코더를 사용하여 조건부 GAN 아키텍처를 구성한다.
• 에코더는 사전 훈련된 스타일 제너레이터의 잠재 공간으로 입력 이미지를 매핑하도록 학습되며, 훈련 중 제너레이터의 가중치는 동결된다.
• 확률적 노이즈 입력을 이미지 세부 사항 및 색상 조작의 주요 제어 메커니즘으로 활용하여 잠재 코드가 필요 없도록 한다.
• 잠재 코드의 의미를 강화하면서도 재구성 품질을 유지하기 위해 이중 단계 훈련 전략을 도입한다.
• 이미지 충실도를 최적화하기 위해 인지적 손실(LPIPS), 적대적 손실, 재구성 손실(MSE)을 함께 사용하여 엔드 투 엔드로 모델을 훈련한다.
• 노이즈 제거를 위해, 노이즈가 첨가된 입력에서 깨끗한 이미지를 재구성하도록 자동에코더를 훈련하며, 잔차 감산 없이 직접 노이즈 제거 출력을 예측한다.

실험 결과

연구 질문

• RQ1 잠재 코드가 주요 제어 신호로 노이즈를 사용할 경우 재구성 품질에 미치는 영향은 어느 정도인가?
• RQ2 스타일 제너레이터의 확률적 노이즈가 무작위 변동을 넘어서 세부 사항과 색상 변화를 포착하는 데 사용될 수 있는가?
• RQ3 사전 훈련된 스타일 제너레이터가 자신의 훈련 분포와 다른 도메인의 이미지를 재구성할 수 있는가?
• RQ4 한 데이터셋에서 훈련된 에코더가 고정된 제너레이터를 사용하여 다른 도메인의 이미지를 효과적으로 재구성할 수 있는가?
• RQ5 이 아키텍처가 작업에 특화된 훈련 없이도 이미지 노이즈 제거에서 어느 정도 잘 작동할 수 있는가?

주요 결과

• 모델은 단일 NVIDIA RTX 2080 Ti에서 최대 초당 40장의 이미지 재구성 속도를 기록하며, 이는 [11]과 같은 이전 방법 대비 28배 빠른 속도이다.
• 모델은 FFHQ에서 사전 훈련된 스타일 제너레이터를 사용하여 LSUN 교회, 고양이, 침실 등 다양한 도메인의 이미지를 성공적으로 재구성하여 강력한 도메인 간 일반화 성능을 입증한다.
• 확률적 노이즈 입력이 세부 사항을 포착하고 색상 조작을 가능하게 하는 데 핵심적인 역할을 하며, 이는 잠재 코드를 사용하지 않을 경우에도 마찬가지로 성립한다.
• BSD68 데이터셋에서 σ=50일 때 PSNR는 27.57, SSIM는 0.92를 기록하며, 작업에 특화된 설계 없이도 최신 기술 수준의 노이즈 제거 성능을 달성한다.
• 노이즈 제거 과정에서 약간의 색상 보정 효과가 나타나며, 이는 정성적 품질을 향상시킬 수 있지만 정량적 평가에 혼동 요소가 될 수 있다.
• 이중 단계 훈련 전략은 재구성 품질을 떨어뜨리지 않으면서도 잠재 코드의 의미적 표현력을 성공적으로 향상시켰다.