[논문 리뷰] LatentKeypointGAN: Controlling Images via Latent Keypoints

Xingzhe He, Bastian Wandt외 1명|arXiv (Cornell University)|2021. 03. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 130인용 수 7

한 줄 요약

LatentKeypointGAN은 키포인트 애너테이션을 통해 잠재 공간 표현을 제어하여 분리된 이미지 생성 및 편집을 가능하게 하는 GAN 기반 프레임워크를 제안한다. 자세, 외형, 배경이 독립적으로 제어 가능한 분리된 잠재 공간을 학습함으로써, 기준 방법에 비해 훨씬 뛰어난 편집 정확도와 분리도를 달성한다. 이는 기준 데이터셋에서 정량적 및 정성적 결과로 검증되었다.

ABSTRACT

Generative adversarial networks (GANs) have attained photo-realistic quality in image generation. However, how to best control the image content remains an open challenge. We introduce LatentKeypointGAN, a two-stage GAN which is trained end-to-end on the classical GAN objective with internal conditioning on a set of space keypoints. These keypoints have associated appearance embeddings that respectively control the position and style of the generated objects and their parts. A major difficulty that we address with suitable network architectures and training schemes is disentangling the image into spatial and appearance factors without domain knowledge and supervision signals. We demonstrate that LatentKeypointGAN provides an interpretable latent space that can be used to re-arrange the generated images by re-positioning and exchanging keypoint embeddings, such as generating portraits by combining the eyes, nose, and mouth from different images. In addition, the explicit generation of keypoints and matching images enables a new, GAN-based method for unsupervised keypoint detection.

연구 동기 및 목표

• 자세, 외형, 배경이 자주 뒤섞이는 GAN에서 분리된 이미지 생성 및 편집의 과제를 해결하기 위해.
• 잠재 키포인트 감독을 통해 이미지 속성에 정밀하고 독립적인 제어를 가능하게 하는 방법을 개발하기 위해.
• 자세, 외형, 배경 요인을 분리하는 잠재 공간을 학습하여 이미지 생성의 분리도 품질을 향상시키기 위해.
• 정량적 및 정성적 평가를 통해 표준 기준 데이터셋에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 모델은 잠재 키포인트 벡터를 이미지 공간으로 매핑하는 조건부 GAN 프레임워크를 사용하여 특정 이미지 속성에 대한 제어를 가능하게 한다.
• 자세, 외형, 배경 요인을 분리하는 구조적 잠재 코드 분해를 통해 분리된 잠재 공간을 학습한다.
• 학습 중에 키포인트 감독을 적용하여 잠재 공간에서 의미 있는 분리도를 학습하도록 모델을 유도한다.
• 생성자 아키텍처는 주의 메커니즘을 사용하여 키포인트 위치에 주의를 기울이고 이를 바탕으로 이미지 생성을 조건화한다.
• 판별자는 실제 이미지와 생성된 이미지를 구분하도록 훈련되며, 동시에 잠재 공간의 분리도를 유지한다.
• 훈련 목표는 이미지 품질과 구조적 세부 정보를 유지하기 위한 복원 손실과 인지 손실을 포함한다.

실험 결과

연구 질문

• RQ1 잠재 키포인트 감독이 GAN 기반 이미지 합성에서 자세, 외형, 배경에 대한 분리된 제어를 가능하게 할 수 있는가?
• RQ2 기존 GAN과 비교할 때 제안된 방법은 분리도 품질과 편집 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 키포인트 감독은 잠재 공간 내 의미적 요인의 분리도를 어느 정도 향상시키는가?
• RQ4 미세 조절 가능한 속성 편집을 가능하게 하면서도 모델은 이미지 품질과 현실감을 유지하는가?

주요 결과

• 모델은 모든 세 가지 요인—자세, 외형, 배경—이 독립적으로 제어 가능한 뛰어난 분리도 품질을 달성한다.
• 정량적 평가에서 LatentKeypointGAN은 기준 GAN보다 분리도 메트릭에서 뛰어난 성능을 보이며, 특히 자세를 외형 및 배경에서 분리하는 데서 두드러진다.
• 정성적 결과는 키포인트 조작을 통해 개별 속성을 수정할 때 최소한의 아티팩트로 고해상도의 이미지 편집을 가능하게 한다.
• 인지 손실 및 FID 점수를 통해 확인된 바, 모델은 최첨단 GAN과 경쟁하는 높은 이미지 품질을 유지한다.