[논문 리뷰] Designing an Encoder for StyleGAN Image Manipulation

Omer Tov, Yuval Alaluf외 3명|arXiv (Cornell University)|2021. 02. 04.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 실사 이미지를 StyleGAN의 잠재공간(W)으로 역으로 변환하기 위한 새로운 인코더 e4e를 제안한다. e4e는 스타일 벡터 간의 분산을 낮추고 원래의 W 분포에 가까이 있도록 유도함으로써 재구성 정확도와 편집 가능성 사이의 균형을 이루며, 왜곡은 약간 증가하지만 다양한 도메인(예: 자동차, 말)에서 뛰어난 시각적 품질과 현실적인 편집을 달성한다.

ABSTRACT

Recently, there has been a surge of diverse methods for performing image editing by employing pre-trained unconditional generators. Applying these methods on real images, however, remains a challenge, as it necessarily requires the inversion of the images into their latent space. To successfully invert a real image, one needs to find a latent code that reconstructs the input image accurately, and more importantly, allows for its meaningful manipulation. In this paper, we carefully study the latent space of StyleGAN, the state-of-the-art unconditional generator. We identify and analyze the existence of a distortion-editability tradeoff and a distortion-perception tradeoff within the StyleGAN latent space. We then suggest two principles for designing encoders in a manner that allows one to control the proximity of the inversions to regions that StyleGAN was originally trained on. We present an encoder based on our two principles that is specifically designed for facilitating editing on real images by balancing these tradeoffs. By evaluating its performance qualitatively and quantitatively on numerous challenging domains, including cars and horses, we show that our inversion method, followed by common editing techniques, achieves superior real-image editing quality, with only a small reconstruction accuracy drop.

연구 동기 및 목표

• 사전 훈련된 StyleGAN 생성기로 실사 이미지를 편집하는 데 도전하는 문제를 해결하기 위해, 정확한 잠재공간으로의 역변환을 요구한다.
• StyleGAN의 잠재공간 내재된 왜곡-편집 가능성 및 왜곡-시각적 품질 트레이드오프를 규명하고 분석한다.
• 편집 가능성과 시각적 품질을 극대화하기 위해 원래의 W 공간에 가까운 영역으로 이미지를 역으로 변환하는 인코더를 설계한다.
• W에 가까운 잠재코드가 더 나은 편집 성능을 보임을 입증하며, 약간의 재구성 손실 증가를 감수한다.
• 다양한 비얼굴 도메인에 일반화 가능한 효과적인 역변환 방법을 제공한다.

제안 방법

• 실사 이미지를 분산이 낮고 각 스타일 벡터가 W의 분포에 가까운 잠재코드로 매핑하도록 훈련하는 새로운 인코더 아키텍처 e4e를 제안한다.
• Nitzan 등 [27]의 적대적 훈련을 변형하여 각 스타일 벡터가 W 분포 내에 있도록 유도하며, 실제 W 코드로 훈련된 판별기 사용.
• 점진적 훈련 스케줄을 도입하여 훈련 중에 점차적으로 스타일 벡터 간 분산을 증가시켜 학습 안정성과 일반화 능력을 향상시킨다.
• 다중 척도의 인지적 손실과 L2 재구성 손실을 사용하여 역변환 과정에서 이미지의 정밀도와 의미 일관성을 균형 잡는다.
• 표준 편집 기법(예: 정체성, 나이, 자세, 색상 편집 등)과 통합하여 후행 편집 품질을 평가한다.
• 더 높은 표현력을 위해 확장된 W+ 공간(W*)을 활용하면서도, 역변환 결과가 W에 가까이 있도록 제약하여 편집 가능성을 유지한다.

Figure 2 : An illustration of our definitions for a 1-dimensional $\mathcal{W}$ and for $k=2$ (i.e., $\mathcal{W}^{2}$ ). The diagonal line represents $\mathcal{W}_{*}$ since the two coordinates of each point on it are equal. The pink points are sampled from $\mathcal{W}$ , which here is represented

실험 결과

연구 질문

• RQ1 역변환된 잠재코드가 원래 W 공간에 얼마나 가까운가에 따라 StyleGAN에서의 편집 가능성과 시각적 품질에 어떤 영향을 미치는가?
• RQ2 StyleGAN의 잠재공간에서 재구성 왜곡, 시각적 품질, 편집 가능성 간의 트레이드오프는 무엇인가?
• RQ3 실사 이미지를 재구성성과 높은 편집 가능성 모두를 확보한 잠재공간 영역으로 체계적으로 역으로 변환할 수 있는 인코더를 설계할 수 있는가?
• RQ4 제안된 인코더의 성능은 pSp, IDInvert와 같은 기존의 역변환 방법과 비교해 편집 품질과 재구성 정밀도 측면에서 어떻게 다를까?
• RQ5 제안된 방법이 자동차, 말과 같은 다양한 비얼굴 도메인에 얼마나 일반화되는가?

주요 결과

• e4e 인코더는 특히 자동차, 말과 같은 복잡한 도메인에서 pSp와 IDInvert에 비해 훨씬 뛰어난 시각적 품질과 더 자연스러운 편집을 달성한다.
• pSp의 경우 L2 왜곡(0.03) 대비 약간 증가된 L2 왜곡(0.05)을 기록했음에도 불구하고, 더 자연스러운 질감과 색상 표현을 보여주는 정성적 결과를 통해 뛰어난 시각적 품질을 입증한다.
• 말 도메인에서 e4e는 FID 15.44와 SWD 26.83을 기록하여 IDInvert(FID 18.18, SWD 18.94)와 pSp(FID 21.00, SWD 24.46)를 모두 압도하며 시각적 지표에서 승리한다.
• 왜곡-편집 가능성 및 왜곡-시각적 품질 트레이드오프는 잠재코드가 원래 W 공간에 얼마나 가까운가에 의해 직접 제어된다.
• 점진적 훈련과 적대적 정규화는 분산이 낮고 W에 가까운 코드를 생성하도록 인코더를 효과적으로 이끌며, 이는 매우 높은 편집 가능성을 보장한다.
• 사람 평가 결과, e4e가 생성한 편집 결과는 재구성 오차가 약간 높음에도 불구하고 pSp와 IDInvert보다 더 시각적으로 매력적이고 현실적인 것으로 확인되었다.

Figure 3 : As in Figure 2 , $\mathcal{W}$ is 1-dimensional and $k=2$ , that is $\mathcal{W}^{k}=\mathcal{W}^{2}$ . The main diagonal represents $\mathcal{W}_{*}$ , and warmer colors correspond to higher densities of $\mathcal{W}^{k}$ . As one traverses the space in parallel to the red arrow and appr