[논문 리뷰] StyleGAN3: Generative Networks for Improving the Equivariance of Translation and Rotation

Tianlei Zhu, Junqi Chen외 2명|arXiv (Cornell University)|2023. 07. 08.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 스타일 및 노이즈 주입 메커니즘의 개선을 통해 이동과 회전에 대한 동치성(equivariance)을 향상시키기 위해 설계된 생성 적대 기반 네트워크 아키텍처인 StyleGAN3을 제안한다. FID, EQ-T, EQ-R 지표를 사용한 FFHQ 데이터셋에 대한 실험을 통해 저자들은 StyleGAN3가 더 뛰어난 분리성과 기하학적 불변성(geometric invariance)을 달성함으로써 애니메이션 및 영상 생성 분야에서의 유용성을 높였음을 입증한다.

ABSTRACT

StyleGAN can use style to affect facial posture and identity features, and noise to affect hair, wrinkles, skin color and other details. Among these, the outcomes of the picture processing will vary slightly between different versions of styleGAN. As a result, the comparison of performance differences between styleGAN2 and the two modified versions of styleGAN3 will be the main focus of this study. We used the FFHQ dataset as the dataset and FID, EQ-T, and EQ-R were used to be the assessment of the model. In the end, we discovered that Stylegan3 version is a better generative network to improve the equivariance. Our findings have a positive impact on the creation of animation and videos.

연구 동기 및 목표

• 스타일GAN2에서 얼굴 자세와 정체성 특징의 분리성에 문제가 발생하는 문제를 해결하기 위해.
• 이동과 회전에 대한 생성된 이미지의 동치성을 향상시켜 변환 과정에서 일관된 의미적 변화를 보장하기 위해.
• 자세와 시점 변화에 대응하면서도 정체성을 유지하는 개선된 생성 네트워크를 개발하기 위해.
• FFHQ 데이터셋에서 표준 지표인 FID, EQ-T, EQ-R를 사용하여 모델 성능을 평가하기 위해.

제안 방법

• 저자들은 스타일 및 노이즈 주입 경로를 재설계하여 이동과 회전에 대한 동치성을 향상시키기 위해 스타일GAN2 아키텍처를 수정하였다.
• 기하학적 변환 중 정체성 특징을 더 잘 유지하는 데 기여하는 수정된 스타일 모odulation 메커니즘을 적용하였다.
• 모델은 고품질의 인간 얼굴 이미지를 포함하는 FFHQ 데이터셋에서 훈련되었으며, 이는 강력한 평가를 가능하게 하였다.
• 평가 지표로는 프레셰 인ception 거리(Fréchet Inception Distance, FID), 이동에 대한 동치성(Equivalence under Translation, EQ-T), 그리고 회전에 대한 동치성(Equivalence under Rotation, EQ-R)이 포함되었다.
• 훈련 과정은 기하학적 편향에 따른 분포 이탈을 최소화하기 위해 생성자에 대한 반복적 개선을 포함하였다.
• 최종 모델은 스타일GAN2와 두 가지 수정된 스타일GAN3 버전 간의 정량적 비교를 통해 검증되었다.

실험 결과

연구 질문

• RQ1 수정된 스타일GAN3 아키텍처는 스타일GAN2에 비해 이동에 대해 어떻게 동치성을 향상시키는가?
• RQ2 새로운 노이즈 및 스타일 주입 메커니즘은 어떤 정도로 회전 변환 중 정체성을 유지하는가?
• RQ3 이전 버전 대비 스타일GAN3의 FID, EQ-T, EQ-R 지표에서 측정된 정량적 성능 향상은 어느 정도인가?
• RQ4 스타일GAN3에서 향상된 동치성은 생성된 애니메이션 및 영상의 품질과 일관성을 향상시키는 데 기여하는가?

주요 결과

• 스타일GAN3는 스타일GAN2에 비해 이동과 회전에 대해 정체성 일관성을 더 잘 유지하는 데 뛰어난 성능을 보였다.
• 더 낮은 프레셰 인셉션 거리(Fréchet Inception Distance, FID)를 기록하여 실제 데이터와의 분포 유사도가 높고, 더 높은 이미지 품질을 의미한다.
• EQ-T 및 EQ-R 점수는 뚜렷이 향상되어 생성된 출력에서 향상된 기하학적 동치성이 확인되었다.
• 개선된 아키텍처는 얼굴 자세와 정체성 특징에 대한 더 안정적이고 분리된 제어를 가능하게 하였다.
• 결과적으로 스타일GAN3는 뷰포인트 변화에 따른 외관 일관성이 요구되는 응용 분야, 예를 들어 애니메이션 및 영상 합성 분야에서 더 적합하다는 것이 제안된다.