[논문 리뷰] Third Time's the Charm? Image and Video Editing with StyleGAN3

Yuval Alaluf, Or Patashnik외 5명|arXiv (Cornell University)|2022. 01. 31.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 이미지 및 영상 편집을 위한 StyleGAN3를 조사하며, 정렬된 훈련 데이터가 StyleGAN3가 비정렬 데이터로부터 비정렬 이미지를 생성할 수 있음에도 불구하고 분리된 편집과 복원 성능을 향상시킨다는 것을 입증한다. 저자들은 StyleGAN3의 이동/회전 동치성(translation/rotation equivariance)을 활용하여 질감 붙임 현상(texture sticking)을 줄이고 시야 범위를 확장하는 새로운 비디오 복원 및 편집 파이프라인을 제안한다. 이는 인코더 기반 복원과 최적화된 생성자(generator)를 통해 실사 이미지 및 영상에서 고해상도 편집을 실현한다.

ABSTRACT

StyleGAN is arguably one of the most intriguing and well-studied generative models, demonstrating impressive performance in image generation, inversion, and manipulation. In this work, we explore the recent StyleGAN3 architecture, compare it to its predecessor, and investigate its unique advantages, as well as drawbacks. In particular, we demonstrate that while StyleGAN3 can be trained on unaligned data, one can still use aligned data for training, without hindering the ability to generate unaligned imagery. Next, our analysis of the disentanglement of the different latent spaces of StyleGAN3 indicates that the commonly used W/W+ spaces are more entangled than their StyleGAN2 counterparts, underscoring the benefits of using the StyleSpace for fine-grained editing. Considering image inversion, we observe that existing encoder-based techniques struggle when trained on unaligned data. We therefore propose an encoding scheme trained solely on aligned data, yet can still invert unaligned images. Finally, we introduce a novel video inversion and editing workflow that leverages the capabilities of a fine-tuned StyleGAN3 generator to reduce texture sticking and expand the field of view of the edited video.

연구 동기 및 목표

• StyleGAN2와 비교해 StyleGAN3의 잠재공간의 분리성(disentanglement) 특성을 분석하기 위해.
• 특히 비정렬 데이터를 대상으로 기존의 인코더 기반 복원 기법이 StyleGAN3에서 어떻게 성능을 발휘하는지 평가하기 위해.
• StyleGAN3의 동치성 특성을 활용해 시간적 일관성과 잡음 감소를 향상시키는 새로운 비디오 편집 워크플로우를 개발하기 위해.
• StyleGAN3에서 편집 및 복원 성능 측면에서 정렬된 훈련 데이터와 비정렬 훈련 데이터 중 어느 것이 더 우수한 성능을 내는지 조사하기 위해.
• 특화된 인코딩 기법과 최적화된 생성자를 활용해 실사 이미지 및 영상의 고해상도 편집을 가능하게 하기 위해.

제안 방법

• 비정렬 데이터로부터도 비정렬 이미지를 생성할 수 있음에도 불구하고, 정렬된 데이터로 StyleGAN3 생성자를 훈련시켜 분리성과 복원 성능 향상을 도모한다.
• 비정렬 데이터로만 훈련된 기존의 인코더 기반 복원 방법과는 달리, 정렬된 데이터로만 훈련된 새로운 인코더 기반 복원 방법을 제안하며, 이는 비정렬 실사 이미지도 성공적으로 복원할 수 있다.
• StyleGAN3의 이동 및 회전 동치성 특성을 활용해 질량 붙임 현상을 줄이고 시간적 일관성을 향상시키는 비디오 복원 및 편집 파이프라인을 설계한다.
• 잠재코드 조작을 통해 영상 프레임의 자르거나 부분적으로 가려진 영역(예: 턱, 머리카락)을 재구성함으로써 시야 범위 확장을 위한 기법을 도입한다.
• StyleGAN-NADA를 사용해 StyleGAN3를 미세조정함으로써 스타일 전이 및 의미적 편집을 수행하며, 부모 생성자와 자식 생성자 간의 잠재공간 정렬을 유지한다.
• 제안된 복원 파이프라인을 통해 확보한 잠재코드에 대해 표준 편집 기법(예: InterFaceGAN, StyleCLIP)을 적용해 실사 이미지 및 영상의 편집을 수행한다.

실험 결과

연구 질문

• RQ1 StyleGAN3의 W 및 W+ 잠재공간은 StyleGAN2와 비교해 어떻게 분리되어 있는가?
• RQ2 기존의 인코더 기반 복원 기법은 StyleGAN3에 적용했을 때 비정렬 실사 이미지를 효과적으로 복원할 수 있는가?
• RQ3 비정렬 훈련이 비정렬 생성을 지원함에도 불구하고, 정렬된 데이터로 훈련한 StyleGAN3가 편집 및 복원 성능 측면에서 더 나은 성능을 내는가?
• RQ4 StyleGAN3의 동치성 특성을 활용해 질량 붙임 현상을 줄이고 영상 편집의 시간적 일관성을 향상시킬 수 있는가?
• RQ5 StyleGAN3의 아키텍처적 강점을 활용해 복원, 편집, 시야 범위 확장을 통합한 비디오 편집 파이프라인을 설계할 수 있는가?

주요 결과

• StyleGAN3의 W 및 W+ 잠재공간은 StyleGAN2보다 더 엉켜 있는 편이지만, 이는 스타일스페이스가 미세 조절 가능한 편집에 더 적합하다는 것을 시사한다.
• 기존의 인코더 기반 복원 기법은 StyleGAN3에 적용했을 때 비정렬 데이터에서는 어려움을 겪지만, 정렬된 데이터로만 훈련된 새로운 인코더는 비정렬 이미지에 대해서도 유사한 재구성 품질을 달성한다.
• 정렬된 데이터로 훈련된 StyleGAN3는 비정렬 훈련에도 불구하고 더 뛰어난 분리된 편집 및 복원 성능을 제공한다.
• 제안된 비디오 편집 파이프라인은 StyleGAN3의 이동 및 회전 동치성 특성을 활용해 질량 붙임 현상을 줄이며, 더 뛰어난 시간적 일관성 향상을 이룬다.
• 시야 범위 확장 기법은 잠재코드 조작을 통해 자르거나 부분적으로 가려진 얼굴 영역(예: 턱, 머리카락)을 성공적으로 재구성한다.
• StyleGAN-NADA로 미세조정된 StyleGAN3 생성자는 잠재공간 내 의미적 정렬을 유지하여, 부모 및 자식 모델 간 일관된 편집을 가능하게 한다.