[논문 리뷰] Conditional GANs with Auxiliary Discriminative Classifier

Liang Hou, Qi Cao외 4명|arXiv (Cornell University)|2021. 07. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 8

한 줄 요약

이 논문은 생성자 인지 보조 분류기를 도입하여 내부 클래스 다양성을 향상시키는 새로운 조건부 GAN인 ADC-GAN을 제안한다. 이 분류기는 실재 데이터와 생성된 데이터를 동시에 구분하면서 클래스 레이블을 예측한다. 이론적 분석은 기존 판별자 없이도 생성자가 연합 분포를 학습할 수 있음을 보여주며, 합성 및 실세계 데이터셋에서 최신 기법들보다 향상된 훈련 안정성과 성능을 확보한다.

ABSTRACT

Conditional generative models aim to learn the underlying joint distribution of data and labels to achieve conditional data generation. Among them, the auxiliary classifier generative adversarial network (AC-GAN) has been widely used, but suffers from the problem of low intra-class diversity of the generated samples. The fundamental reason pointed out in this paper is that the classifier of AC-GAN is generator-agnostic, which therefore cannot provide informative guidance for the generator to approach the joint distribution, resulting in a minimization of the conditional entropy that decreases the intra-class diversity. Motivated by this understanding, we propose a novel conditional GAN with an auxiliary discriminative classifier (ADC-GAN) to resolve the above problem. Specifically, the proposed auxiliary discriminative classifier becomes generator-aware by recognizing the class-labels of the real data and the generated data discriminatively. Our theoretical analysis reveals that the generator can faithfully learn the joint distribution even without the original discriminator, making the proposed ADC-GAN robust to the value of the coefficient hyperparameter and the selection of the GAN loss, and stable during training. Extensive experimental results on synthetic and real-world datasets demonstrate the superiority of ADC-GAN in conditional generative modeling compared to state-of-the-art classifier-based and projection-based conditional GANs.

연구 동기 및 목표

• 생성자 무관 분류기가 조건부 엔트로피를 최소화함으로써 발생하는 AC-GAN의 낮은 내부 클래스 다양성 문제를 해결하기 위해.
• 보조 분류기가 생성자의 출력 분포를 인지하도록 하여 생성자에게 더 유용한 가이던스를 제공하는 조건부 GAN 아키텍처를 개발하기 위해.
• 초파rameter 조정과 GAN 손실 함수 선택에 대한 의존도를 줄여 훈련 안정성을 향상시키기 위해.
• 최신 기반 분류자 및 프로젝션 기반 GAN들과 비교해 우수한 조건부 생성 성능을 보여주기 위해.

제안 방법

• 생성자 인지 보조 분류기를 도입하여 실재 데이터와 생성된 데이터를 동시에 구분하고 클래스 레이블을 예측하도록 한다.
• 생성자는 적대적 손실과 조건부 엔트로피 손실을 모두 최소화하도록 훈련하고, 판별자와 분류기는 함께 최적화된다.
• 이론적 분석은 보조 분류기가 생성자 인지일 경우, 원래의 판별자가 없더라도 생성자가 데이터-라벨 연합 분포를 학습할 수 있음을 보여준다.
• 분류기는 실재 및 생성된 샘플 모두를 기반으로 훈련되어 각 클래스 내에서 다양성을 유도하는 피드백을 제공할 수 있다.
• 이 방법은 초파rameter 설정과 GAN 손실 함수에 대해 강건하여 훈련 안정성을 향상시킨다.
• 효율성을 검증하기 위해 합성 및 실세계 데이터셋에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 기존의 AC-GAN과 비교해 생성자 인지 보조 분류기가 조건부 GAN의 내부 클래스 다양성 향상에 기여하는가?
• RQ2 제안된 ADC-GAN이 다양한 초파라미터 설정과 GAN 손실 함수에서 훈련 안정성을 유지하는가?
• RQ3 보조 분류기가 생성자 인지일 경우, 원래의 판별자가 없더라도 생성자가 연합 데이터-라벨 분포를 학습할 수 있는가?
• RQ4 최신 기반 분류자 및 프로젝션 기반 조건부 GAN들과 비교해 ADC-GAN의 생성 품질과 다양성은 어떠한가?
• RQ5 분류기가 실재 대 생성된 샘플을 구분하는 능력이 전체 생성 성능에 어떤 영향을 미치는가?

주요 결과

• ADC-GAN은 합성 및 실세계 데이터셋 모두에서 AC-GAN과 다른 최신 기반 조건부 GAN들보다 유의미하게 높은 내부 클래스 다양성을 확보한다.
• 이론적 분석은 보조 분류기가 생성자 인지일 경우, 원래의 판별자가 없더라도 생성자가 연합 분포를 학습할 수 있음을 확인한다.
• ADC-GAN은 초파라미터 설정과 GAN 손실 함수에 대해 강건하여 훈련 중 민감도가 낮다.
• 실험 결과는 다양한 벤치마크 데이터셋에서 일관된 성능 향상을 보여주며, 생성자 인지 분류기 설계의 효과성을 확인한다.
• 보조 분류기는 각 클래스 내에서 더 다양한 샘플을 생성하도록 생성자에게 효과적으로 가이드한다. 이는 모드 붕괴를 감소시킨다.