[논문 리뷰] Semantically Decomposing the Latent Spaces of Generative Adversarial Networks

Chris Donahue, Zachary C. Lipton외 2명|arXiv (Cornell University)|2017. 05. 22.

Face recognition and analysis인용 수 44

한 줄 요약

이 논문은 동일한 주제의 쌍체 이미지에서 학습함으로써 생성 적대 신경망(GAN)의 은닉 공간을 신원(z_I)과 관측(z_O) 요인으로 분리하는 의미론적 분해 GANs(SD-GANs)를 제안한다. 다양한 관측에 걸쳐 신원 일관성을 강제하기 위해 시아모이 분류기(Siamese discriminators)를 사용함으로써, SD-GANs는 신원 일치하는 포토레얼리스틱 이미지 쌍을 생성하면서도, 자세, 조명, 표정과 같은 조건부 요인과 신원을 별도로 조작할 수 있다.

ABSTRACT

We propose a new algorithm for training generative adversarial networks that jointly learns latent codes for both identities (e.g. individual humans) and observations (e.g. specific photographs). By fixing the identity portion of the latent codes, we can generate diverse images of the same subject, and by fixing the observation portion, we can traverse the manifold of subjects while maintaining contingent aspects such as lighting and pose. Our algorithm features a pairwise training scheme in which each sample from the generator consists of two images with a common identity code. Corresponding samples from the real dataset consist of two distinct photographs of the same subject. In order to fool the discriminator, the generator must produce pairs that are photorealistic, distinct, and appear to depict the same individual. We augment both the DCGAN and BEGAN approaches with Siamese discriminators to facilitate pairwise training. Experiments with human judges and an off-the-shelf face verification system demonstrate our algorithm's ability to generate convincing, identity-matched photographs.

연구 동기 및 목표

• 표준 GAN이 얼굴이나 제품 이미지와 같은 데이터 내 알려진 공통 요소(예: 신원)를 명시적으로 분리하지 못하는 한계를 해결하기 위해.
• 은닉 코드의 신원 요소를 고정함으로써 동일 주제에 대한 다양한 포토레얼리스틱 이미지를 생성하기 위해.
• 조건부 입력 없이도 신원과 관측 요인(예: 자세, 조명)을 별도로 제어할 수 있도록 하기 위해.
• 쌍체 학습 방식을 개발하여, 쌍체 간의 신원 일관성을 평가하는 시아모이 분류기를 통해 분리도를 향상시키기 위해.
• 조건부 GAN과 달리, 훈련 중에 보이지 않은 새로운 신원의 제로샷 생성을 가능하게 하기 위해.

제안 방법

• 은닉 공간을 두 부분으로 분해: z_I(신원)와 z_O(관측)로 나누며, z_I는 쌍체 이미지 간에 공유된다.
• 각 순방향 전파에서 동일한 z_I를 공유하지만 서로 다른 z_O를 사용하여 두 이미지를 생성하도록 생성기 학습.
• 두 이미지를 입력으로 받아 그들이 동일한 신원을 가졌는지 여부를 나타내는 확률을 출력하는 시아모이 분류기 아키텍처 사용.
• 실제로 일치하는 쌍(동일한 신원)과 가짜 또는 일치하지 않는 쌍(다른 신원)을 구분하도록 분류기 학습.
• DCGAN과 BEGAN 프레임워크를 변형하여 시아모이 분류기를 적대적 학습 목표에 통합.
• 시아모이 분류기가 일치하는 것으로 분류하도록 유도할 수 있도록 생성기 최적화.

실험 결과

연구 질문

• RQ1 명시적 지도 없이도 GAN이 관측 요인(예: 자세, 조명)과 신원을 분리할 수 있는가?
• RQ2 생성기는 동일한 신원에 대해 다양한 포토레얼리스틱 이미지를 생성하면서도 신원 일관성을 유지할 수 있는가?
• RQ3 시아모이 분류기를 사용한 쌍체 학습 방식이 표준 GAN보다 신원 일관성 향상에 기여하는가?
• RQ4 SD-GANs는 훈련 데이터에 존재하지 않는 새로운 신원을 생성할 수 있는가? 조건부 GAN과는 대조적으로.
• RQ5 인간 평가자와 자동화된 얼굴 인식 시스템은 생성된 이미지 쌍에서 신원 일치를 얼마나 잘 인식하는가?

주요 결과

• SD-GANs는 동일한 신원에 대해 다양한 포토레얼리스틱 이미지 쌍을 성공적으로 생성하였으며, 인간 평가자는 생성된 쌍 중 85%를 일치하는 것으로 정확히 식별했다.
• 표준 얼굴 인식 시스템은 생성된 이미지 쌍 중 92%를 동일한 주제로 정확히 분류했다.
• SD-GANs를 통해 신원 다양성과 관측 다양성의 다양한 매니폴드를 별도로 보간할 수 있었으며, 이는 신원과 외형 요인에 대한 분리된 제어를 보여주었다.
• SD-BEGAN 버전은 SD-DCGAN보다 더 포토레얼리스틱한 샘플을 생성했지만, 둘 다 높은 수준의 신원 일관성을 달성했다.
• 신발 데이터셋에서 SD-DCGAN는 z_I의 변화에 따라 일관된 신발 유형을 유지하면서 자세와 시점은 변화시키며 효과적인 분리도를 보였다.
• SD-GANs는 훈련 데이터에 존재하지 않는 완전히 새로운 신원을 생성할 수 있으며, 이는 조건부 GAN이 기존 신원에만 국한되는 능력과 대비된다.