[논문 리뷰] State-of-the-Art in the Architecture, Methods and Applications of StyleGAN

Amit H. Bermano, Rinon Gal외 6명|arXiv (Cornell University)|2022. 02. 28.

Cell Image Analysis Techniques인용 수 9

한 줄 요약

이 논문은 StyleGAN의 아키텍처, 잠재 공간 성질 및 응용에 대한 종합적인 조사를 제공하며, 고해상도 이미지 편집을 가능하게 하는 비지도 학습을 통한 분리되고 의미 있는 잠재 공간 학습을 강조한다. GAN 역전환 및 잠재 공간 편집 기법을 검토하고, 생성기의 미세조정을 통해 실사 이미지의 고품질 편집 가능한 재구성을 가능하게 하며, 세분화 및 설명 가능성과 같은 판별적 응용을 탐색한다.

ABSTRACT

Generative Adversarial Networks (GANs) have established themselves as a prevalent approach to image synthesis. Of these, StyleGAN offers a fascinating case study, owing to its remarkable visual quality and an ability to support a large array of downstream tasks. This state-of-the-art report covers the StyleGAN architecture, and the ways it has been employed since its conception, while also analyzing its severe limitations. It aims to be of use for both newcomers, who wish to get a grasp of the field, and for more experienced readers that might benefit from seeing current research trends and existing tools laid out. Among StyleGAN's most interesting aspects is its learned latent space. Despite being learned with no supervision, it is surprisingly well-behaved and remarkably disentangled. Combined with StyleGAN's visual quality, these properties gave rise to unparalleled editing capabilities. However, the control offered by StyleGAN is inherently limited to the generator's learned distribution, and can only be applied to images generated by StyleGAN itself. Seeking to bring StyleGAN's latent control to real-world scenarios, the study of GAN inversion and latent space embedding has quickly gained in popularity. Meanwhile, this same study has helped shed light on the inner workings and limitations of StyleGAN. We map out StyleGAN's impressive story through these investigations, and discuss the details that have made StyleGAN the go-to generator. We further elaborate on the visual priors StyleGAN constructs, and discuss their use in downstream discriminative tasks. Looking forward, we point out StyleGAN's limitations and speculate on current trends and promising directions for future research, such as task and target specific fine-tuning.

연구 동기 및 목표

• 연구자 및 실무자들을 대상으로 StyleGAN의 아키텍처, 훈련 및 기능에 대한 종합적인 개요를 제공하기.
• StyleGAN의 비지도 학습 기반 분리된 잠재 공간이 의미 있는 이미지 편집을 가능하게 하는 강점과 한계를 분석하기.
• 실사 이미지를 StyleGAN의 잠재 공간에 역전환하는 기법과 재구성 품질과 편집 가능성 사이의 상충 관계를 검토하기.
• 생성기의 미세조정이 실제 세계 이미지의 고품질 편집 가능한 재구성 가능성을 높이고 합성 생성을 초월한 응용 가능성을 확장하는 방식을 탐색하기.
• StyleGAN의 구조화된 잠재 공간을 활용해 세분화, 회귀 및 설명 가능성과 같은 후행 판별 과제를 수행하는 방법을 조사하기.

제안 방법

• 맵핑 네트워크와 스타일 조절의 역할을 강조하여 분리되고 연속적인 잠재 공간을 생성하는 StyleGAN 아키텍처를 분석한다.
• 실사 이미지를 StyleGAN의 잠재 공간에 매핑하기 위해 최적화 기반 및 데이터 기반 추론 방법을 포함한 GAN 역전환 기법을 검토한다.
• 잠재 공간 내 선형 산술을 통한 잠재 공간 편집을 검토하고, 의미 있는 조작을 가능하게 하는 분리된 방향을 식별하고 활용한다.
• 재구성 품질과 편집 가능성 향상을 위해 피봇 코드와 정규화를 사용하여 생성기의 미세조정 방법을 제안한다.
• 초네트워크를 활용해 빠른 전방 전파 기반 생성기 조정을 수행하여 영상 편집에서 시간적 일관성을 향상시킨다.
• 생성기 가중치 내에서 해석 가능한 방향을 발견함으로써 잠재 코드 조작만으로는 달성할 수 없는 효과(예: 차량 휠 크기 변경)를 가능하게 하는 파rameter-space 편집을 탐색한다.

Figure 1. Images synthesized by StyleGAN, its followups and derivative works.

실험 결과

연구 질문

• RQ1 StyleGAN은 명시적 지도 학습 없이 어떻게 분리되고 의미 있는 잠재 공간을 달성하는가?
• RQ2 실사 이미지를 StyleGAN의 잠재 공간에 역전환할 때 재구성 품질과 편집 가능성 사이의 상충 관계는 어떠한가?
• RQ3 생성기의 미세조정이 StyleGAN에서 실사 이미지 재구성의 품질과 편집 가능성에 얼마나 기여하는가?
• RQ4 StyleGAN의 잠재 공간은 세분화, 설명 가능성 및 회귀와 같은 비생성적 과제에 활용될 수 있는가?
• RQ5 StyleGAN이 비구조적 또는 분포 외 데이터를 처리하는 데에는 어떤 한계가 있으며, 이를 어떻게 적응 기반으로 보완할 수 있는가?

주요 결과

• StyleGAN의 잠재 공간은 놀랄 만큼 분리되어 있으며 선형 산술을 지원하여 연령 증가나 성별 전환과 같은 정밀한 의미 편집이 가능하다.
• GAN 역전환은 재구성 품질과 편집 가능성 사이의 상충 관계를 보이며, 생성기의 미세조정을 통해 1분 이내에 고품질의 편집 가능한 재구성을 달성할 수 있다.
• 피봇 코드를 사용한 미세조정는 실사 이미지에 표준 편집 기법을 적용할 수 있도록 하여 시각적 품질을 크게 향상시킨다.
• 초네트워크 기반 조정은 빠른 전방 전파 기반 생성기 적응을 가능하게 하여 영상 편집에서 시간적 일관성을 향상시킨다.
• 파라미터 공간 편집은 잠재 코드 조작만으로는 달성할 수 없는 조작(예: 자동차 휠 크기 변경)을 발견한다.
• StyleGAN의 구조화된 잠재 공간은 세분화, 회귀 및 설명 가능성과 같은 판별 과제를 지원하여 생성 외적 활용 가능성도 입증한다.

Figure 2. Editing a real image of Scarlett Johansson (on the top left) with StyleGAN. We show both in-domain and out-of-domain manipulations.