[논문 리뷰] Generate and Edit Your Own Character in a Canonical View

Jeong-gi Kwak, Yuanming Li외 3명|arXiv (Cornell University)|2022. 05. 06.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 StyleGAN의 잠재공간 조작을 통해 임의의 시점에서의 입력 이미지로부터 3D supervision 없이도 일관된 정방향 시점의 스타일화된 초상화를 생성하고 편집하는 통합적인 프레임워크를 제안한다. NeRF 기반 GAN에서 유도된 가짜 정답 쌍을 기반으로 새로운 잠재 매핑 기술을 훈련시켜 동시에 스타일화 및 정면화를 달성하며, 시각적 품질, 정체성 유지, 추론 속도 측면에서 계류형 접근 방식을 능가한다. FID는 65.21이며, 런타임은 0.26초이다.

ABSTRACT

Recently, synthesizing personalized characters from a single user-given portrait has received remarkable attention as a drastic popularization of social media and the metaverse. The input image is not always in frontal view, thus it is important to acquire or predict canonical view for 3D modeling or other applications. Although the progress of generative models enables the stylization of a portrait, obtaining the stylized image in canonical view is still a challenging task. There have been several studies on face frontalization but their performance significantly decreases when input is not in the real image domain, e.g., cartoon or painting. Stylizing after frontalization also results in degenerated output. In this paper, we propose a novel and unified framework which generates stylized portraits in canonical view. With a proposed latent mapper, we analyze and discover frontalization mapping in a latent space of StyleGAN to stylize and frontalize at once. In addition, our model can be trained with unlabelled 2D image sets, without any 3D supervision. The effectiveness of our method is demonstrated by experimental results.

연구 동기 및 목표

• 임의의 시점에서의 입력 이미지로부터 3D supervision 없이도 일관된 정면 시점의 스타일화된 초상화를 생성하는 문제를 해결하기 위해.
• 계류형 접근 방식에서 정면화 후 스타일화를 적용할 경우 발생하는 정체성 및 시각적 품질 저하 문제를 해결하기 위해.
• StyleGAN의 의미적 다양체를 유지하면서 정면화를 위한 정확한 잠재공간 매핑을 발견하기 위해.
• 라벨이 없는 2D 이미지 세트만을 사용하여 종단 간 스타일화 및 정면화를 가능하게 하여 3DMM이나 자세 추정기 의존도를 줄이기 위해.
• 기존의 StyleGAN 기반 잠재공간 편집 기법들과의 호환성을 유지하여 후속 편집 작업을 가능하게 하기 위해.

제안 방법

• 무작위 시점과 정면 시점의 이미지 쌍을 생성하기 위해, NeRF 기반 GAN을 처음부터 훈련시어 가짜 정답 쌍을 제공함으로써 잠재공간 매핑에 대한 지도를 제공한다.
• 기존의 임의의 시점에서의 잠재 코드를 일관된 정면 시점의 잠재 코드로 매핑하는 새로운 잠재 매핑 기술을 도입한다.
• 정밀도와 현실감을 확보하기 위해 L1, 지각적, 정체성 유지 손실을 조합한 다중 손실 목표함수를 사용해 잠재 매핑 기술을 훈련시킨다.
• 스태일화는 GAN 보간을 통해 달성되며, 조작된 잠재 코드가 StyleGAN 생성기의 초기 레이어들만 영향을 주어 정체성과 품질을 유지한다.
• 모든 과정이 잠재공간 내에서 이루어지므로, 기존의 잠재공간 편집 기법(예: InterFaceGAN)을 직접 적용할 수 있다.
• 라벨이 없는 2D 이미지 세트를 기반으로 종단 간 훈련을 수행하여, 레이블이 부여된 특징점, 3D 메시, 사전 훈련된 3D 모델이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 3D supervision이나 레이블이 없는 상태에서 통합 프레임워크가 일관된 정면 시점의 스타일화된 초상화를 생성할 수 있는가?
• RQ2 3D 기하학이나 자세 추정에 의존하지 않고, StyleGAN의 잠재공간에서 정확한 정면화를 어떻게 달성할 수 있는가?
• RQ3 단일 단계에서의 동시 스타일화 및 정면화가 계류형 파이프라인(예: 정면화 후 스타일화)에 비해 시각적 품질과 정체성 유지 측면에서 뛰어나게 되는가?
• RQ4 다양한 스타일화 도메인 간에 정체성과 의미적 일관성을 얼마나 잘 유지할 수 있는가?
• RQ5 이미 존재하는 잠재공간 편집 기법들과의 원활한 통합을 통해 일관된 시점에서의 속성 편집(예: 나이, 성별, 미소 등)이 가능한가?

주요 결과

• 제안된 방법은 Fréchet Inception Distance(FID)가 65.21로, 계류형 접근 방식(95.25 및 86.64)보다 시각적 품질에서 뚜렷한 우월성을 보였다.
• 출력당 평균 0.26초의 빠른 추론 속도를 기록하여, 계류형 방법(1.84초 및 4.63초)을 능가하며 실시간 적용이 가능했다.
• 정체성 유지 측면에서 계류형 파이프라인보다 뛰어나, ArcFace 지표에서 15.5% 높은 정체성 점수(82.26)를 기록하여 다음으로 우수한 방법(77.10)보다 높았다.
• 정성적 결과에서는 스타일화된 입력(예: 만화나 그림)에서도 눈에 띄는 잡음이나 왜곡 없이 뛰어난 사진적 사실감과 정체성 일관성을 보였다.
• InterFaceGAN을 사용하여 일관된 시점에서 의미적 속성(예: 나이, 성별, 미소) 편집이 성공적으로 가능했으며, 기존의 잠재공간 편집 도구와의 호환성을 입증했다.
• 제거 실험 결과, 잠재 매핑 기술의 설계가 핵심임을 확인하였으며, 이를 제거할 경우 정체성과 시각적 품질이 심각하게 저하됨을 입증했다.