[논문 리뷰] IAN: Combining Generative Adversarial Networks for Imaginative Face Generation

Abdullah Hamdi, Bernard Ghanem|arXiv (Cornell University)|2019. 04. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 5

한 줄 요약

이 논문은 기반 데이터셋 X(예: 인간 얼굴)와 타겟 데이터셋 Y(예: 동물 얼굴)의 특성을 융합하여 현실적이고 상상력 있는 얼굴 이미지를 생성하기 위해 K-최근접 이웃(K-NN) 정규화된 GAN(K-GAN)과 CycleGAN을 조합한 계단식 GAN 프레임워크인 IAN(Imaginative Adversarial Network)을 제안한다. K-GAN 정규화기는 고차원 특징 공간에서 Y의 특징 매칭을 강제함으로써 안정적이고 다양한 새로운 하이브리드 얼굴 정체성을 유지하면서도 현실감을 보존한다. 이는 다중 도메인 다양체 탐색 및 캐릭터 디자인과 같은 응용 분야를 가능하게 한다.

ABSTRACT

Generative Adversarial Networks (GANs) have gained momentum for their ability to model image distributions. They learn to emulate the training set and that enables sampling from that domain and using the knowledge learned for useful applications. Several methods proposed enhancing GANs, including regularizing the loss with some feature matching. We seek to push GANs beyond the data in the training and try to explore unseen territory in the image manifold. We first propose a new regularizer for GAN based on K-nearest neighbor (K-NN) selective feature matching to a target set Y in high-level feature space, during the adversarial training of GAN on the base set X, and we call this novel model K-GAN. We show that minimizing the added term follows from cross-entropy minimization between the distributions of GAN and the set Y. Then, We introduce a cascaded framework for GANs that try to address the task of imagining a new distribution that combines the base set X and target set Y by cascading sampling GANs with translation GANs, and we dub the cascade of such GANs as the Imaginative Adversarial Network (IAN). We conduct an objective and subjective evaluation for different IAN setups in the addressed task and show some useful applications for these IANs, like manifold traversing and creative face generation for characters' design in movies or video games.

연구 동기 및 목표

• 학습 데이터 분포를 초월하여 새로운 이미지를 생성할 수 있도록 GAN이 이미지 다양체의 미탐색 영역을 탐색할 수 있도록 유도하기 위해.
• 기본적인 GAN이 학습 데이터를 암기하고 보편적인 하이브리드 이미지 분포로 일반화하지 못하는 한계를 해결하기 위해.
• 기본 분포 X를 유지하면서 타겟 도메인 Y의 특징을 유도하는 안정적이고 수학적으로 탄탄한 정규화기를 개발하기 위해.
• 샘플링 GAN과 이미지 간의 번역을 조합한 계단식 GAN 프레임워크(IAN)를 개발하여 상상력 있는 얼굴 생성을 가능하게 하기 위해.
• 영화 및 비디오 게임의 캐릭터 디자인과 같은 창의적 응용 분야에서의 실용적 응용을 보여주기 위해.

제안 방법

• 기본 분포 X에서 생성된 이미지를 타겟 도메인 Y로 매칭하기 위해 고차원 특징 공간(사전 학습된 ImageNet 분류기에서 유도)에서 K-NN 선택을 사용하는 K-GAN이라는 새로운 GAN 정규화기를 제안한다.
• 기본 데이터셋 X에서 이미지를 생성하는 샘플링 GAN(K-GAN 또는 BEGAN 등)과 CycleGAN을 조합한 계단식 프레임워크를 도입하여, X에서 Y로의 이미지 번역을 수행한다.
• 사전 학습된 AlexNet의 특징 임bedding을 사용해 고차원 공간에서 K-NN 매칭을 계산함으로써 안정적이고 의미 있는 특징 매칭을 보장한다.
• BEGAN 판별기에서 유도된 오토인코더 아키텍처를 활용해 잠재 벡터를 인코딩하고 디코딩하여 다양체 탐색을 수행한다.
• X에서 Y로의 이미지 번역 과정에서 구조적 및 정체성 유지 보장을 위해 CycleGAN에서 사이클 일致성 손실을 적용한다.
• 계단식 시스템의 출력을 조합하여 X와 Y의 특징을 융합하면서도 현실감을 유지하는 하이브리드 얼굴 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 K-NN 기반의 특징 매칭 정규화기는 기반 분포 X의 품질을 떨어뜨리지 않으면서도 GAN 학습의 안정성을 향상시키고 타겟 도메인 Y로의 생성을 유도할 수 있는가?
• RQ2 샘플링 GAN과 CycleGAN을 계단식으로 조합하면 두 개의 서로 다른 도메인의 특징을 융합한 현실적이고 상상력 있는 얼굴 이미지를 생성할 수 있는가?
• RQ3 기본 GAN과 정규화되지 않은 계단식 GAN에 비해 제안된 IAN 프레임워크는 이미지의 현실감과 인간 선호도 측면에서 어떻게 성능을 내는가?
• RQ4 단 두 개의 기반 샘플만으로도 IAN 프레임워크가 다중 도메인 다양체 탐색을 지원할 수 있는가?
• RQ5 IAN은 영화 및 비디오 게임의 캐릭터 디자인과 같은 창의적 응용 분야에서 얼마나 효과적으로 활용될 수 있는가?

주요 결과

• K-GAN 정규화기는 고차원 특징 공간에서 GAN의 출력 분포와 타겟 집합 Y 사이의 교차 엔트로피를 최소화함으로써 생성 이미지의 안정성과 품질을 크게 향상시킨다.
• K-GAN을 CycleGAN와 조합함으로써 타겟 도메인 Y의 Inception 정확도가 40% 향상되고, 선호도 점수는 15% 향상되었다. 이는 정규화되지 않은 IAN보다 유의미한 개선이다.
• 인간 선호도 평가에서 때로는 정규화되지 않은 IAN이 더 선호될 수는 있으나, K-GAN은 Inception 네트워크 점수와 인간 평가 지표에서 모두 표준 GAN을 일관되게 뛰어넘는 성능을 보였다.
• 이 프레임워크는 다중 도메인 다양체 탐색을 가능하게 한다: 두 개의 기반 이미지에서 유도된 잠재 코드를 선형 보간함으로써, 단일 기반 샘플 쌍으로도 인간에서 개, 고양이, 말 등으로의 부드러운 전이를 생성할 수 있다.
• IAN 프레임워크는 타당하고 상상력 있는 인간-동물 혼합 캐릭터 얼굴을 성공적으로 생성하여 영화 및 비디오 게임 분야의 창의적 디자인 응용에서의 유용성을 입증하였다.
• 정규화기를 생략할 경우 고주파 잡음과 CycleGAN 내에서의 오차 증폭 현상이 발생함으로써, 안정성을 확보하기 위해 K-NN 특징 매칭이 필수적임을 확인하였다.