[논문 리뷰] Pivotal Tuning for Latent-based Editing of Real Images

Daniel Roich, Ron Mokady외 2명|arXiv (Cornell University)|2021. 06. 10.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 Pivotal Tuning Inversion (PTI)를 소개하며, 생성기의 피벗 잠재 코드 주변에서 미세조정을 통해 고해상도이자 신원을 유지하는 얼굴 이미지 편집을 가능하게 하는 방법을 제안한다. 생성기의 표현 능력을 외부 도메인 이미지에 맞게 정교하게 조정함으로써, 왜곡-편집 가능성의 상충관계를 해결하여 도전적인 실생활 얼굴 이미지에서 양적 평가 지표와 정성적 편집 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, a surge of advanced facial editing techniques have been proposed that leverage the generative power of a pre-trained StyleGAN. To successfully edit an image this way, one must first project (or invert) the image into the pre-trained generator's domain. As it turns out, however, StyleGAN's latent space induces an inherent tradeoff between distortion and editability, i.e. between maintaining the original appearance and convincingly altering some of its attributes. Practically, this means it is still challenging to apply ID-preserving facial latent-space editing to faces which are out of the generator's domain. In this paper, we present an approach to bridge this gap. Our technique slightly alters the generator, so that an out-of-domain image is faithfully mapped into an in-domain latent code. The key idea is pivotal tuning - a brief training process that preserves the editing quality of an in-domain latent region, while changing its portrayed identity and appearance. In Pivotal Tuning Inversion (PTI), an initial inverted latent code serves as a pivot, around which the generator is fined-tuned. At the same time, a regularization term keeps nearby identities intact, to locally contain the effect. This surgical training process ends up altering appearance features that represent mostly identity, without affecting editing capabilities. We validate our technique through inversion and editing metrics, and show preferable scores to state-of-the-art methods. We further qualitatively demonstrate our technique by applying advanced edits (such as pose, age, or expression) to numerous images of well-known and recognizable identities. Finally, we demonstrate resilience to harder cases, including heavy make-up, elaborate hairstyles and/or headwear, which otherwise could not have been successfully inverted and edited by state-of-the-art methods.

연구 동기 및 목표

• 실생활 이미지의 잠재 기반 편집에서 외부 도메인 얼굴이 신원 손실나 또는 잡음으로 인해 왜곡되는 문제인 왜곡-편집 가능성의 상충관계를 해결하기 위해.
• 원래 StyleGAN 생성기의 분포를 벗어난 실생활 이미지에 대해 고품질의 신원 유지 편집을 가능하게 하기 위해.
• 생성기의 편집 능력을 유지하면서 재구성 정밀도를 향상시키는 개인화되고 효율적인 조정 방법을 개발하기 위해.
• 무거운 메이크업, 복잡한 헤어스타일, 헤드웨어 등 도전적인 케이스에 대한 강건성을 입증하기 위해.
• 미디어 제작 및 개인 맞춤형 이미지 편집 응용 분야에 실용적인 프레임워크를 제공하기 위해.

제안 방법

• 실생활 이미지를 생성기의 잠재 공간에 역추론하기 위해 시장에 유통된 기법을 사용하여 W+ 공간 내 初기 잠재 코드를 생성한다.
• W 공간에서 피벗 잠재 코드를 선택하여 생성기의 미세조정에 사용할 기준점으로 삼는다.
• 지역 잠재 영역 내 편집 가능성을 유지하면서 왜곡을 최소화하는 짧은 최적화 과정(피벗 튜닝)을 통해 생성기를 미세조정한다.
• 근처의 잠재 코드들이 신원을 유지하도록 제약을 가하는 정규화 항목을 도입함으로써 지역적 신원 유지성을 강화하여 전체 분포의 이탈을 방지한다.
• L2 및 LPIPS 재구성 손실에 더해 신원 정규화를 포함한 손실 함수를 최적화하여 생성기의 각 레이어를 조정한다.
• 최종 생성기는 입력 이미지에 맞게 개인화되어 있으며, 이로 인해 고정밀도와 최소한의 왜곡을 동반한 후속 편집이 가능해진다.

Figure 2: An illustration of the PTI method. StyleGAN’s latent space is portrayed in two dimensions (see Tov et al. [ 38 ] ), where the warmer colors indicate higher densities of $W$ , i.e. regions of higher editability. On the left, we illustrate the generated samples before pivotal tuning. We can

실험 결과

연구 질문

• RQ1 외부 도메인 실생활 이미지의 잠재 기반 편집에서 편집 가능성 손실 없이 재구성 왜곡을 효과적으로 줄일 수 있는가?
• RQ2 지역적이고 생성기 전용인 미세조정 과정이 기존 StyleGAN의 편집 능력을 유지하면서 새로운 신원을 수용할 수 있는가?
• RQ3 어려운 얼굴 이미지에서 표준 역추론 방법에 비해 피벗 튜닝이 신원 유지 및 시각적 품질 측면에서 어떻게 성능을 냈는가?
• RQ4 피벗 튜닝이 다수의 신원에 대해 최소한의 왜곡과 일관된 성능을 유지할 수 있는가?
• RQ5 피벗 잠재 코드는 초기화에 대해 강건한가? 그리고 계산 비용 절감을 위해 튜닝 중에 고정할 수 있는가?

주요 결과

• PTI는 조정 전후의 역추론 코드를 비교할 때, LPIPS(0.015±5e−6)와 MSE(0.0012±1e−6) 점수에서 다른 방법보다 유의미하게 높은 성능을 기록하여 왜곡이 최소화됨을 시사한다.
• 이 방법은 이전 방법이 역추론 잡음으로 실패하는 경우에도, 무거운 메이크업, 복잡한 헤어스타일, 헤드웨어가 있는 이미지에 대해 고품질의 편집을 가능하게 한다.
• 절단 실험 결과, 평균 또는 무작위 잠재 코드로 피벗 코드를 대체할 경우 왜곡이 유의미하게 증가함을 확인하여 피벗 선택의 중요성을 입증한다.
• PTI는 성공적인 고급 편집(예: 미소, 자세, 나이, 표정 변화) 적용을 통해 강력한 편집 가능성을 유지하고 있음을 입증하였으며, 세레나 윌리엄스나 로버트 다우니 주니어와 같은 유명 인물에 대해서도 적용 가능했다.
• 전체 이중 단계 과정은 단일 RTX 2080에서 3분 이내에 완료되며, 피벗 튜닝 단계는 2분 이내로 끝나 실생활 적용에 실용적이다.
• 피벗 코드 초기화에 대해 강건함을 입증하였으며, 피벗 코드를 최적화해도 성능 향상이 미미하여 계산 비용 절감을 위해 고정 가능함을 확인하였다.

Figure 4: Reconstruction of out-of-domain samples. Our method (right) reconstructs out-of-domain visual details (left), such as face paintings or hands, significantly better than state-of-the-art methods (middle).