[논문 리뷰] Image Processing Using Multi-Code GAN Prior

Jinjin Gu, Yujun Shen외 1명|arXiv (Cornell University)|2019. 12. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 69인용 수 11

한 줄 요약

이 논문은 단일 잠재 코드에 의존하는 기존 GAN 역행렬 방법의 낮은 재구성 품질 문제를 해결하기 위해 다중 잠재 코드와 적응형 채널 병합을 사용하는 새로운 GAN 역행렬 방법 mGANprior를 제안한다. 잠재 공간을 과도하게 파rameter화함으로써 고품질의 이미지 재구성 성능을 달성하며, 재학습 없이도 초해상도, 색상화, 메시지 복원 등의 다양한 응용 분야에서 사전 훈련된 GAN을 효과적으로 활용할 수 있다.

ABSTRACT

Despite the success of Generative Adversarial Networks (GANs) in image synthesis, applying trained GAN models to real image processing remains challenging. Previous methods typically invert a target image back to the latent space either by back-propagation or by learning an additional encoder. However, the reconstructions from both of the methods are far from ideal. In this work, we propose a novel approach, called mGANprior, to incorporate the well-trained GANs as effective prior to a variety of image processing tasks. In particular, we employ multiple latent codes to generate multiple feature maps at some intermediate layer of the generator, then compose them with adaptive channel importance to recover the input image. Such an over-parameterization of the latent space significantly improves the image reconstruction quality, outperforming existing competitors. The resulting high-fidelity image reconstruction enables the trained GAN models as prior to many real-world applications, such as image colorization, super-resolution, image inpainting, and semantic manipulation. We further analyze the properties of the layer-wise representation learned by GAN models and shed light on what knowledge each layer is capable of representing.

연구 동기 및 목표

• 기존의 단일 잠재 코드에 의존하는 GAN 역행렬 방법이 낮은 재구성 품질을 보이는 문제를 해결하기 위해.
• 사전 훈련된 GAN이 다양한 실세계 이미지 처리 작업에 효과적인 사전 지식으로 기능할 수 있도록 하기 위해.
• 다중 코드를 사용하여 잠재 공간을 과도하게 파rameter화함으로써 이미지 재구성 정밀도를 향상시키기 위해.
• GAN 생성자 내 다양한 레이어가 의미적 및 지각적 지식을 어떻게 인코딩하는지 분석하기 위해.
• 이 방법이 도메인 내 및 도메인 외 이미지에 걸쳐 일반화되는지를 보여주기 위해.

제안 방법

• 해당 방법은 생성기의 중간 레이어에서 다중 특징 맵을 생성하기 위해 다중 잠재 코드를 활용한다.
• 이 특징 맵들은 학습 가능한 채널 가중치를 사용하여 적응적으로 병합되어 입력 이미지를 재구성한다.
• 다중 잠재 코드와 채널 가중치의 엔드 투 엔드 최적화를 통해 재구성 손실을 최소화한다.
• 레이어별 표현 능력을 분석하기 위해 생성기의 다양한 레이어에 이 방법을 적용한다.
• 사전 훈련된 PGGAN 모델을 사용하여 초해상도, 색상화, 메시지 복원 등의 이미지 복원 작업에서 평가한다.
• 다양한 레이어와 GAN 아키텍처에서의 성능 비교를 위한 추론 실험을 통해 최적의 특징 조합 레이어를 규명한다.

실험 결과

연구 질문

• RQ1 GAN에서 단일 코드 역행렬에 비해 다중 잠재 코드가 이미지 재구성 품질을 크게 향상시킬 수 있는가?
• RQ2 생성기의 중간 레이어 선택이 재구성 정밀도와 의미적 내용에 어떤 영향을 미치는가?
• RQ3 GAN의 훈련 데이터와 도메인 갭이 있는 이미지를 mGANprior가 효과적으로 재구성할 수 있는가?
• RQ4 훈련된 GAN 생성기의 다양한 레이어에 어떤 종류의 지식(예: 저수준 세부 정보 vs. 고수준 의미론적 정보)이 인코딩되어 있는가?
• RQ5 mGANprior가 파라미터 조정이나 아키텍처 변경 없이 얼마나 깊이 있는 이미지 처리 작업을 가능하게 하는가?

주요 결과

• mGANprior는 중심 영역 자르기 및 무작위 영역 자르기 이미지 복원 작업 모두에서 기존 GAN 역행렬 방법과 Deep Image Prior(DIP)를 능가하는 최신 기술 수준의 재구성 성능를 달성한다.
• 메시지 복원 작업에서 중심 영역 자르기와 무작위 영역 자르기의 경우 각각 PSNR 21.19 dB와 22.11 dB를 기록했으며, 4번째 레이어에서 최고의 성능를 보였다.
• 색상화 작업에서 8번째 레이어는 90.02%의 최고 AuC 스코어를 기록하여 저수준 색상 재구성에서 뛰어난 성능를 입증했다.
• 얼굴 데이터셋(CelebA-HQ)으로 훈련된 GAN에서 침실 이미지를 역행렬화할 경우, 단일 코드 기반 방법은 올바른 내용을 재구성하지 못하지만, mGANprior는 다중 코드를 사용해 성공적으로 침실 이미지를 생성했다.
• 4번째 레이어는 침실 재구성을 위한 충분한 표현력을 제공하는 반면, 다른 도메인(예: 얼굴, 성당)은 8번째 레이어가 필요함을 보여주어 레이어별 의미론적 추상화의 특성을 입증했다.
• 고차 레이어에서의 특징 조합이 더 높은 재구성 정밀도를 제공하는 것으로 나타났으며, 이는 고차 레이어가 더 세부적인 내용 정보를 인코딩하기 때문이다.