[논문 리뷰] Twin Auxiliary Classifiers GAN

Mingming Gong, Yanwu Xu외 3명|PubMed|2019. 07. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 10

한 줄 요약

이 논문은 보조 분류기 GAN(AC-GAN)의 낮은 다양성 문제를 해결하기 위해 실제 및 생성된 조건부 분포 간의 발산을 더 잘 추정할 수 있도록 두 번째 보조 분류기를 도입한 새로운 조건부 GAN 아키텍처인 Twin Auxiliary Classifiers GAN(TAC-GAN)을 제안한다. AC-GAN의 목적 함수에서 누락된 항을 보정함으로써 TAC-GAN은 CIFAR100, ImageNet1000, VGGFace2에서 표본의 다양성과 정확도를 크게 향상시키며, 세밀한 얼굴 생성 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Conditional generative models enjoy remarkable progress over the past few years. One of the popular conditional models is Auxiliary Classifier GAN (AC-GAN), which generates highly discriminative images by extending the loss function of GAN with an auxiliary classifier. However, the diversity of the generated samples by AC-GAN tends to decrease as the number of classes increases, hence limiting its power on large-scale data. In this paper, we identify the source of the low diversity issue theoretically and propose a practical solution to solve the problem. We show that the auxiliary classifier in AC-GAN imposes perfect separability, which is disadvantageous when the supports of the class distributions have significant overlap. To address the issue, we propose Twin Auxiliary Classifiers Generative Adversarial Net (TAC-GAN) that further benefits from a new player that interacts with other players (the generator and the discriminator) in GAN. Theoretically, we demonstrate that TAC-GAN can effectively minimize the divergence between the generated and real-data distributions. Extensive experimental results show that our TAC-GAN can successfully replicate the true data distributions on simulated data, and significantly improves the diversity of class-conditional image generation on real datasets.

연구 동기 및 목표

• 클래스 수가 증가할수록 AC-GAN에서 낮은 표본 다양성이 발생하는 이론적 근본 원인을 규명하는 것.
• AC-GAN의 목적 함수에서 누락된 항으로 인해 발생하는 분포 매칭의 불완전성 문제를 해결하는 것.
• 실제 데이터 분포와 생성된 데이터 분포 간의 발산을 더 잘 최소화하는 새로운 조건부 GAN 프레임워크를 개발하는 것.
• 특히 대규모 및 세밀한 분류 데이터셋에서, 클래스 조건부 이미지 생성의 다양성과 정확도를 향상시키는 것.
• TAC-GAN이 이전에 도전적인 벤치마크로 간주되었던 VGGFace2에서 고품질의 다채로운 이미지를 생성할 수 있음을 입증하는 것.

제안 방법

• AC-GAN의 목적 함수에서 누락된 항을 추정하기 위해, GAN의 최소-최대 게임에 새로운 플레이어로 이중 보조 분류기를 도입한다.
• 기존의 디스커미네이터와 함께 이중 분류기를 포함한 목적 함수를 수정하여 조건부 분포 간 발산을 더 잘 추정할 수 있도록 한다.
• 생성자 내 잔차 블록 전반에 걸쳐 공유된 클래스 임베딩을 사용하고, 노이즈를 여러 레이어에 클래스 임베딩과 함께 입력하여 특징 표현을 향상시킨다.
• 생성자와 디스커미네이터에 스펙트럴 정규화와 자기 주의 모듈을 적용하여 학습 안정성과 특징 학습 능력을 향상시킨다.
• 수정된 허프 손실을 사용하여 생성자와 디스커미네이터를 학습하고, 업데이트 시마다 한 번 또는 두 번의 단계를 번갈아가며 적용하여 수렴성을 향상시킨다.
• 정규 직교 초기화를 적용하고, Big-GAN 기반 아키텍처를 사용하여 ImageNet1000 및 VGGFace2와 같은 고해상도 대규모 데이터셋으로의 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 왜 클래스 수가 증가할수록 AC-GAN의 표본 다양성이 감소하는가?
• RQ2 AC-GAN 목적 함수에서 누락되어 분포 매칭이 불완전해지는 특정한 항은 무엇인가?
• RQ3 두 번째 보조 분류기를 도입함으로써 누락된 항을 효과적으로 복구하고 분포 일치를 향상시킬 수 있는가?
• RQ4 제안된 TAC-GAN 방법이 다양한 데이터셋에서 클래스 조건부 이미지 생성의 다양성과 정확도를 크게 향상시키는가?
• RQ5 TAC-GAN은 이전 방법이 실패했던 세밀한 분류 데이터셋인 VGGFace2에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• CIFAR100에서 TAC-GAN은 Fréchet Inception Distance(FID)가 7.22로, AC-GAN의 82.45보다 유의미하게 낮아, 더 뛰어난 이미지 품질과 다양성을 나타낸다.
• CIFAR100에서 TAC-GAN은 Inception Score(IS)가 9.34를 기록하여, AC-GAN의 5.37보다 더 높아 표본 품질과 다양성 향상을 입증한다.
• ImageNet1000에서 TAC-GAN은 100개의 무작위 선택된 클래스에 대해 Projection cGAN보다 낮은 FID 스코어를 기록하여, 더 나은 분포 매칭 능력을 확인한다.
• VGGFace200에서 TAC-GAN은 LPIPS 스코어가 Projection cGAN보다 높아, 세밀한 얼굴 데이터에서 더 큰 내부 클래스 변동성과 향상된 다양성을 나타낸다.
• TAC-GAN은 VGGFace2 데이터셋에서 고품질의 다채로운 이미지를 성공적으로 생성한 최초의 cGAN 방법으로, 세밀한 인식 작업에서의 효과성을 입증한다.
• pacGAN과 TAC-GAN을 조합하면 성능이 향상되며(IS: 9.85, FID: 6.79) 하지만 핵심적인 다양성 향상 요인은 pacGAN 자체가 아니라 이중 분류기 설계 덕분이다.