[논문 리뷰] Resolution Dependent GAN Interpolation for Controllable Image Synthesis Between Domains

Justin N. M. Pinkney, Doron Adler|arXiv (Cornell University)|2020. 10. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 61

한 줄 요약

논문은 사전 학습된 StyleGAN 모델 간의 해상도 의존적 계층 스왑을 통해 도메인 간 보간을 제시하여 제어 가능한 스타일 특성을 가진 새로운 도메인 생성을 가능하게 한다.

ABSTRACT

GANs can generate photo-realistic images from the domain of their training data. However, those wanting to use them for creative purposes often want to generate imagery from a truly novel domain, a task which GANs are inherently unable to do. It is also desirable to have a level of control so that there is a degree of artistic direction rather than purely curation of random results. Here we present a method for interpolating between generative models of the StyleGAN architecture in a resolution dependent manner. This allows us to generate images from an entirely novel domain and do this with a degree of control over the nature of the output.

연구 동기 및 목표

• 이미지 해상도와 연결된 제어 가능한 특징을 보존하면서 생성 모델 간 보간을 통해 새로운 도메인에서의 생성을 가능하게 하고 동기를 부여한다.
• 다양한 StyleGAN 계층이 특정 해상도에서 특징을 포착하는 역할을 이미 알고 있는 점을 활용하여 교차 도메인 합성을 제어한다.
• 계층 기반 모델 보간을 통해 툰화(toonification) 및 Ukiyo-e 스타일 전이의 실용적 방법을 시연한다.

제안 방법

• 기본 모델과 전이된 모델 간 보간을 위한 해상도 기반 계층 스왑 체계를 정의한다.
• 새로운 도메인에서 전이 학습을 통해 전이된 모델을 학습시키고 매핑 네트워크 매개변수를 기본 모델의 매개변수로 고정한다.
• 레이어 해상도 r 및 스왑 임계치 r_swap에 따라 기본 모델 또는 전이된 모델의 기여를 계층별로 선택하여 보간 가중치 p_interp 를 구성한다.
• 보간된 모델을 사용하여 한 도메인의 구조적 특성과 다른 도메인의 렌더링을 결합한 이미지를 생성한다.
• 툰화 출력용으로 임의의 얼굴을 기본 모델의 잠재 공간에 매핑하는 인코딩/임베딩 방법을 제공한다.

실험 결과

연구 질문

• RQ1 StyleGAN 모델 간 해상도 의존적 계층 스왑이 기본 또는 전이 데이터 세트에 존재하지 않는 새로운 도메인에서 이미지를 생성할 수 있는가?
• RQ2 어떤 해상도 계층을 교환할지 선택함으로써 구조적 특징과 렌더링 품질 사이의 균형을 어느 정도까지 제어할 수 있는가?
• RQ3 임의의 얼굴을 기본 모델에 인코딩하는 것이 보간된 모델을 사용할 때 Toonified 출력에 어떤 영향을 미치는가?
• RQ4 StyleGAN2 프레임워크 내에서 안정적 보간 결과를 얻을 수 있는 실용적인 전이 학습 설정(데이터 세트, 학습 기간)은 무엇인가?

주요 결과

• 다른 해상도에서의 계층 스왑은 만화 같은 구조와 사진실사 렌더링이 혼합된 도메인 특성을 가진 이미지를 생성하게 한다.
• 동일한 잠재 벡터를 기본 및 보간 모델에서 사용할 때 보간된 모델은 넓은 신원 특징을 보존할 수 있다.
• 기본 모델의 고해상도 계층과 전이된 모델의 저해상도 계층을 결합하면 만화적 구조 특성과 사실적인 질감을 가진 출력을 얻을 수 있다.
• 같은 잠재 입력은 Toonified 출력 를 만들 수 있으며 신원을 유지하면서 새로운 스타일 구조를 채택한다.