[논문 리뷰] CVAE-GAN: Fine-Grained Image Generation through Asymmetric Training

Jianmin Bao, Dong Chen외 3명|arXiv (Cornell University)|2017. 03. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 61

한 줄 요약

CVAE-GAN은 비대칭 평균 피처 매칭을 사용하여 학습을 안정시키고 범주 라벨로 조건화된 다양한, 세밀한 이미지를 생성하기 위해 변분 자동인코더를 GAN과 결합합니다.

ABSTRACT

We present variational generative adversarial networks, a general learning framework that combines a variational auto-encoder with a generative adversarial network, for synthesizing images in fine-grained categories, such as faces of a specific person or objects in a category. Our approach models an image as a composition of label and latent attributes in a probabilistic model. By varying the fine-grained category label fed into the resulting generative model, we can generate images in a specific category with randomly drawn values on a latent attribute vector. Our approach has two novel aspects. First, we adopt a cross entropy loss for the discriminative and classifier network, but a mean discrepancy objective for the generative network. This kind of asymmetric loss function makes the GAN training more stable. Second, we adopt an encoder network to learn the relationship between the latent space and the real image space, and use pairwise feature matching to keep the structure of generated images. We experiment with natural images of faces, flowers, and birds, and demonstrate that the proposed models are capable of generating realistic and diverse samples with fine-grained category labels. We further show that our models can be applied to other tasks, such as image inpainting, super-resolution, and data augmentation for training better face recognition models.

연구 동기 및 목표

• 특정 카테고리(예: 신원, 종)에 대해 고품질의 세밀한 이미지를 생성할 수 있는 생성 모델을 동기 부여하고 개발한다.
• GAN 학습을 안정시키고 모드 붕괴를 완화하기 위해 비대칭 학습 목표를 활용한다.
• 잠재 공간과 이미지 공간을 연결하고 구조와 다양성을 보존하기 위해 인코더를 통한 쌍별 피처 매칭을 도입한다.
• 인식 작업을 위한 이미지 생성, 인페인팅, 초해상도 및 데이터 증강에의 적용 가능성을 입증한다.

제안 방법

• 네 네트워크 CVAE-GAN을 제안한다: 인코더 E, 생성기 G, 판별기 D, 그리고 분류기 C.
• 카테고리 c에 조건화된 CVAE 영감의 잠재 모델링(P(z|x,c)) 및 생성 P(x|z,c)을 사용한다.
• 학습 안정화를 위해 D 및 C 피처 수준에서 생성기의 평균 피처 매칭 손실(L_GD, L_GC)과 L2 픽셀/피처 재구성 손실(L_G)을 적용한다.
• 실제 이미지를 잠재 z로 매핑하는 KL 발산 손실(L_KL)이 있는 인코더를 도입하여 쌍별 피처 매칭(x -> z)과 다양성을 가능하게 한다.
• G에 대해 D/C에 비해 비대칭 목표를 채택한다: G는 전통적인 GAN 손실 대신 평균 피처 거리 최적화를 수행하여 그래디언트 동작을 개선하고 모드 붕괴를 줄인다.
• 합성 objective L = L_D + L_C + λ1 L_KL + λ2 L_G + λ3 L_GD + λ4 L_GC로 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 CVAE-GAN 프레임워크가 특정 카테고리 라벨로 조건화된 고품질의 다양하고 세밀한 이미지를 생성할 수 있는가?
• RQ2 비대칭 평균 피처 매칭이 전통 GAN에 비해 GAN 학습을 안정시키고 모드 붕괴를 줄이는가?
• RQ3 인코더 도입과 쌍별 피처 매칭이 생성 샘플 간 객체 정체성 및 장면 구조를 보존하는가?
• RQ4 모델이 인페인팅, 모핑 및 인식 시스템의 데이터 증강과 같은 관련 작업에 효과적으로 적용될 수 있는가?

주요 결과

• Generated images are realistic and diverse within fine-grained categories (faces, flowers, birds) across 128x128 resolution.
• CVAE-GAN and FM-CGAN achieve higher discriminability and realism than CVAE and CGAN baselines in qualitative and quantitative tests.
• Top-1 classification accuracy on generated face samples is highest for CVAE-GAN (97.78%) compared with real data (99.61%), CVAE (8.09%), CGAN (61.97%), and FM-CGAN (79.76%).
• Realism scores (higher is better) for CVAE-GAN (~19.03) approach real data realism (20.85) and outperform CGAN and FM-CGAN.
• Mean feature matching stabilizes GAN training and mitigates mode collapse without needing weight clipping as in WGAN.
• Encoder-guided latent space mapping plus pairwise feature matching preserves object structure and identity in generated samples.