[논문 리뷰] Structured Generative Adversarial Networks

Zhijie Deng, Hao Zhang외 5명|arXiv (Cornell University)|2017. 11. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 25

한 줄 요약

이 논문은 구조적 생성 적대적 네트워크(SGAN)를 제안한다. SGA는 반감독 조건부 생성 모델로, 두 가지 협업 게임과 두 가지 적대적 게임을 통해 지정된 의미(y)를 다른 변동 요인(z)에서 분리한다. SGA는 레이블이 적은 경우에도 최고 성능을 기록하며, MNIST, SVHN, CIFAR-10에서 각각 50, 1000, 4000개의 레이블로 반감독 이미지 분류에서 1.27%, 5.73%, 17.26%의 오차를 기록한다. 또한 분리된 표현을 통해 높은 제어성과 고화질 이미지 생성이 가능하다.

ABSTRACT

We study the problem of conditional generative modeling based on designated semantics or structures. Existing models that build conditional generators either require massive labeled instances as supervision or are unable to accurately control the semantics of generated samples. We propose structured generative adversarial networks (SGANs) for semi-supervised conditional generative modeling. SGAN assumes the data x is generated conditioned on two independent latent variables: y that encodes the designated semantics, and z that contains other factors of variation. To ensure disentangled semantics in y and z, SGAN builds two collaborative games in the hidden space to minimize the reconstruction error of y and z, respectively. Training SGAN also involves solving two adversarial games that have their equilibrium concentrating at the true joint data distributions p(x, z) and p(x, y), avoiding distributing the probability mass diffusely over data space that MLE-based methods may suffer. We assess SGAN by evaluating its trained networks, and its performance on downstream tasks. We show that SGAN delivers a highly controllable generator, and disentangled representations; it also establishes start-of-the-art results across multiple datasets when applied for semi-supervised image classification (1.27%, 5.73%, 17.26% error rates on MNIST, SVHN and CIFAR-10 using 50, 1000 and 4000 labels, respectively). Benefiting from the separate modeling of y and z, SGAN can generate images with high visual quality and strictly following the designated semantic, and can be extended to a wide spectrum of applications, such as style transfer.

연구 동기 및 목표

• 소수의 레이블 예제가 있는 반감독 설정에서 조건부 생성 모델의 제어성과 분리성 부족 문제를 해결하기 위해.
• 의미(y)와 다른 변동성(z)을 별도로 모델링함으로써 분리성 향상을 도모하기 위해.
• 사용자가 지정한 의미 조건을 엄격히 따르는 고화질, 제어 가능한 이미지 생성을 가능하게 하기 위해.
• 소수의 레이블 예제만으로도 반감독 이미지 분류에서 최고 성능을 달성하기 위해.
• 분리된 표현 학습을 통해 스타일 전이와 같은 후속 작업으로의 일반화 능력을 입증하기 위해.

제안 방법

• SGAN은 데이터 생성을 p(x|y,z)로 모델링하며, y는 지정된 의미를, z는 다른 변동 요인을 캡처한다.
• 생성된 데이터로부터 잠재 코드를 재구성하기 위해 두 개의 추론 네트워크 C(x) → y 및 I(x) → z를 도입한다.
• 두 가지 협업 게임은 재구성 오차를 최소화함으로써 분리성을 보장한다: ||y - C(G(y,z))|| 및 ||z - I(G(y,z))||의 최소화.
• 두 가지 적대적 게임은 GAN 스타일 훈련을 통해 p(x,z)와 p(x,y)의 결합 분포를 일치시켜 확산된 확률 질량을 방지한다.
• 훈련 프레임워크는 적대적 및 협업 목표를 통합하여 추론과 생성 간 상호 강화 사이클을 형성한다.
• 이론적 수렴 보장이 있는 재구성 손실과 적대적 목표의 조합을 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 소수의 레이블 예제로 훈련된 조건부 생성 모델이 높은 제어성과 분리성을 달성할 수 있는가?
• RQ2 잠재 공간에서 의미(y)를 다른 변동성(z)과 분리함으로써 분리성과 생성 품질이 향상되는가?
• RQ3 모델은 스타일 전이와 같은 후속 작업으로 일반화 가능한가?
• RQ4 표준 GAN과 비교해 복구 손실이 생성기의 안정성과 분리성에 어떤 영향을 미치는가?
• RQ5 추론과 생성 간의 상호 강화 사이클이 모델 성능에 어떤 영향을 미치는가?

주요 결과

• SGAN은 레이블이 50개뿐인 MNIST에서 1.27% 오차를 기록하며 반감독 이미지 분류에서 최고 성능을 기록한다.
• SVHN에서는 1,000개의 레이블로 오차를 5.73%로 줄여 강력한 기준 모델을 초월한다.
• CIFAR-10에서는 4,000개의 레이블로 17.26% 오차를 기록하며 저감독 환경에서도 뛰어난 성능을 보인다.
• SGAN은 더 높은 시각적 품질의 이미지를 생성하여 인ception 스코어 6.91(±0.07)을 기록하며, TripleGAN(5.08)과 Improved-GAN(3.87)을 능가한다.
• 이미지 진행 및 스타일 전이 실험을 통해 z가 질감, 형태, 배경 등 상호 수직적 특성을 잘 캡처함을 확인했으며, 정확한 스타일 전이가 가능하다.
• 절단 실험 결과, 재구성 손실(R_y 또는 R_z)을 제거할 경우 성능이 떨어지며, 이는 상호 강화 사이클의 필수성을 입증한다.