[논문 리뷰] Stacked Generative Adversarial Networks

Xun Huang, Yixuan Li외 3명|arXiv (Cornell University)|2016. 12. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 64인용 수 46

한 줄 요약

이 논문은 고해상도 이미지를 점진적으로 추상적 표현에서 세밀한 표현으로 개선함으로써 고성능 이미지를 생성하는 계층적 생성 모델인 스택드 생성적 적대적 네트워크(SGAN)를 제안한다. 사전 훈련된 판별 특징을 표현 판별자를 통해 활용하고 조건부 및 엔트로피 손실을 도입함으로써, CIFAR-10에서 최신 기준 성능을 기록하며 기존 GAN보다 더 다양하고 현실적인 이미지를 생성한다.

ABSTRACT

In this paper, we propose a novel generative model named Stacked Generative Adversarial Networks (SGAN), which is trained to invert the hierarchical representations of a bottom-up discriminative network. Our model consists of a top-down stack of GANs, each learned to generate lower-level representations conditioned on higher-level representations. A representation discriminator is introduced at each feature hierarchy to encourage the representation manifold of the generator to align with that of the bottom-up discriminative network, leveraging the powerful discriminative representations to guide the generative model. In addition, we introduce a conditional loss that encourages the use of conditional information from the layer above, and a novel entropy loss that maximizes a variational lower bound on the conditional entropy of generator outputs. We first train each stack independently, and then train the whole model end-to-end. Unlike the original GAN that uses a single noise vector to represent all the variations, our SGAN decomposes variations into multiple levels and gradually resolves uncertainties in the top-down generative process. Based on visual inspection, Inception scores and visual Turing test, we demonstrate that SGAN is able to generate images of much higher quality than GANs without stacking.

연구 동기 및 목표

• 깊이 있는 생성 모델이 복잡한 데이터 분포를 관리 가능한 계층적 구성요소로 분해함으로써 고품질이고 다양한 이미지를 생성하는 데 도전하는 것.
• 사전 훈련된 판별 네트워크로부터 유용한 계층적 표현을 활용하여 상향식 생성 모델의 훈련을 이끄는 것.
• 생성자 출력의 조건부 엔트로피를 최대화하는 새로운 엔트로피 손실을 도입함으로써 조건부 GAN의 샘플 다양성과 품질을 향상시키는 것.
• 각 계층의 계층에서 생성된 표현이 사전 훈련된 판별 네트워크의 진짜 표현과 일치하도록 표현 판별자를 통해 중간 단계의 감독을 제공하는 것.
• 스택된 GAN에 계층적 조건부 조건과 다중 수준 감독을 적용할 경우 표준 GAN보다 이미지 품질과 다양성 측면에서 크게 슈퍼리어한 성능을 내는 것을 입증하는 것.

제안 방법

• 모델은 상향식으로 스택된 GAN으로 구성되며, 각 생성자는 위에 있는 계층의 고수준 특징에 조건부로 하위 수준의 표현을 생성한다.
• 각 계층에 실수 중간 특징(사전 훈련된 판별 네트워크에서 유도됨)과 생성자에 의해 생성된 가짜 특징을 구분하는 표현 판별자가 도입된다.
• 각 생성자가 고수준 조건 정보를 효과적으로 활용하도록 보장하기 위해 조건부 손실이 적용되며, 이는 정확도와 일관성을 향상시킨다.
• 생성자 출력의 조건부 엔트로피에 대한 변분 하한을 최대화하는 새로운 엔트로피 손실이 도입되어 모드 붕괴를 방지하고 다양성을 향상시킨다.
• 모델은 두 단계로 훈련된다: 첫 번째 단계에서는 각 스택이 적대적 손실과 보조 손실을 사용해 독립적으로 사전 훈련되고, 두 번째 단계에서는 전체 모델이 엔드 투 엔드로 미세 조정된다.
• 최상위 생성자는 클래스 레이블을 입력으로 받으며, 하위 생성자는 최종 이미지를 출력함으로써 조건부 생성이 가능해진다.

실험 결과

연구 질문

• RQ1 스택된 조건부 GAN을 사용하여 계층적 조건부 조건을 적용할 경우 단일 GAN보다 이미지 생성 품질이 향상되는가?
• RQ2 사전 훈련된 판별 네트워크의 특징을 일치시키는 표현 판별자가 생성된 이미지의 현실성과 일관성을 향상시키는가?
• RQ3 조건부 손실과 엔트로피 손실을 함께 도입할 경우 조건부 GAN의 정확도와 다양성이 동시에 향상되는가?
• RQ4 사전 훈련 후 엔드 투 엔드 미세 조정을 수행하는 이중 단계 훈련 전략이 수렴성과 성능 향상에 기여하는가?
• RQ5 표준 GAN에서 단일 노이즈 벡터 대비 계층 간 변형의 계층적 분해가 이미지 생성 품질 향상에 얼마나 기여하는가?

주요 결과

• SGAN은 CIFAR-10에서 최신 기준 성능인 Inception 점수 8.88을 기록하며 기준 DCGAN 및 이전 방법들을 크게 앞서간다.
• 제거 실험에서 공동 훈련 없이도 SGAN은 고품질의 샘플을 생성하며, Inception 점수 측면에서 이전의 모든 방법들을 초월함으로써 스택 아키텍처의 강건성을 입증한다.
• 표준 DCGAN에 엔트로피 손실을 추가하면 모드 붕괴를 방지하고 다양한 이미지를 생성할 수 있지만, 조건부 손실만 존재할 경우 각 클래스당 하나의 이미지로 수렴한다.
• 공동 훈련을 수행한 전체 SGAN 모델은 공동 훈련 없이 훈련된 SGAN보다 더 높은 Inception 점수를 기록함으로써 엔드 투 엔드 정교화의 이점을 입증한다.
• Inception 점수는 시각적 품질과 잘 상관되지만 모드 붕괴에 민감하지 않으며, 제거 실험에서 붕괴된 샘플과 다각적인 샘플 간에 동일한 점수를 기록함으로써 이는 확인된다.
• 제안된 엔트로피 손실은 조건부 GAN의 다양성을 효과적으로 증가시키며, 이는 다른 조건부 생성 작업에서 일반적인 정규화 도구로 활용될 수 있음을 시사한다.