[논문 리뷰] Unbiased Auxiliary Classifier GANs with MINE

Ligong Han, Anastasis Stathopoulos외 2명|arXiv (Cornell University)|2020. 06. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 11

한 줄 요약

이 논문은 표준 AC-GAN에서 누락된 조건부 엔트로피 항을 직접 추정하기 위해 상호정보량 신경추정기(MINE)를 사용하는 비편향 보조 분류기 GAN(UAC-GAN)을 제안한다. 이를 통해 쌍둥이 보조 분류기의 필요성을 제거하고 학습을 안정화시킨다. UAC-GAN은 MNIST, CIFAR10 및 합성 MoG 데이터에서 AC-GAN과 TAC-GAN보다 뛰어난 이미지 생성 품질과 더 나은 클래스 조건부 분포 일치를 달성한다.

ABSTRACT

Auxiliary Classifier GANs (AC-GANs) are widely used conditional generative models and are capable of generating high-quality images. Previous work has pointed out that AC-GAN learns a biased distribution. To remedy this, Twin Auxiliary Classifier GAN (TAC-GAN) introduces a twin classifier to the min-max game. However, it has been reported that using a twin auxiliary classifier may cause instability in training. To this end, we propose an Unbiased Auxiliary GANs (UAC-GAN) that utilizes the Mutual Information Neural Estimator (MINE) to estimate the mutual information between the generated data distribution and labels. To further improve the performance, we also propose a novel projection-based statistics network architecture for MINE. Experimental results on three datasets, including Mixture of Gaussian (MoG), MNIST and CIFAR10 datasets, show that our UAC-GAN performs better than AC-GAN and TAC-GAN. Code can be found on the project website.

연구 동기 및 목표

• 표준 AC-GAN의 목적 함수에서 누락된 음의 조건부 엔트로피 항으로 인해 발생하는 알려진 편향 문제를 해결하기 위해, 이는 클래스 내 다양성이 낮아지는 원인이 된다.
• Twin Auxiliary Classifier GANs(TAC-GAN)와 관련된 학습 불안정성 문제를 해결하기 위해, 누락된 엔트로피 항을 추정하기 위해 두 번째 보조 분류기를 도입한다.
• TAC-GAN의 이론적으로 타당하고 안정적인 대체 방법을 개발하기 위해, 생성 샘플과 레이블 간의 상호정보량을 MINE를 사용해 직접 추정한다.
• 추가적인 구분자나 복잡한 아키텍처를 도입하지 않고도, 누락된 엔트로피 항을 통합함으로써 조건부 이미지 생성 품질과 분포 일치를 향상시키기 위함이다.

제안 방법

• 이 방법은 생성된 데이터와 레이블 간의 상호정보량을 추정하기 위해 상호정보량 신경추정기(MINE)를 사용하며, 이는 누락된 음의 조건부 엔트로피 항을 효과적으로 추정한다.
• MINE를 위한 투영 기반 통계 네트워크 아키텍처가 도입되어, 최소한의 계산 부담으로 효율적이고 안정적인 상호정보량 추정을 가능하게 한다.
• 생성자는 MINE로 추정된 상호정보량을 최소화하도록 훈련되며, 이는 고엔트로피이자 다양한 레이블 조건부 샘플을 장려한다.
• 제안된 UAC-GAN 프레임워크는 MINE를 표준 AC-GAN 목적 함수에 통합하여, TAC-GAN에서 사용하는 쌍둥이 분류기를 다른 미분 가능한 상호정보량 추정기로 대체한다.
• 기존의 AC-GAN 생성자와 구분자 아키텍처를 유지하면서, 조건부 엔트로피 항을 위한 단일 MINE 기반 추정기만 추가한다.

실험 결과

연구 질문

• RQ1 MINE를 통한 상호정보량 추정이 TAC-GAN의 쌍둥이 보조 분류기를 효과적으로 대체하여 AC-GAN의 편향을 줄이고 학습을 안정화시킬 수 있는가?
• RQ2 누락된 음의 조건부 엔트로피 항을 직접 추정함으로써 조건부 GAN에서 생성 샘플의 다양성이 향상되는가?
• RQ3 합성 및 실세계 데이터셋에서 UAC-GAN은 AC-GAN과 TAC-GAN에 비해 분포 일치 및 이미지 생성 품질 측면에서 어떻게 비교되는가?
• RQ4 투영 기반 MINE 아키텍처는 최소한의 계산 비용으로 GAN에 효율적으로 통합될 수 있는가?

주요 결과

• 1차원 혼합 정규분포(MoG) 데이터셋에서, UAC-GAN은 3개 클래스 중 2개 클래스(클래스_1 및 클래스_2)에서 가장 낮은 MMD 거리를 기록했으며, 각각 0.148 ± 0.274 및 0.760 ± 1.474를 기록하여 AC-GAN과 TAC-GAN을 모두 능가했다.
• MNIST에서 UAC-GAN은 Inception Score 2.68과 FID 3.68을 기록했으며, AC-GAN(이상점수: 2.52, FID: 4.17)과 TAC-GAN(이상점수: 2.60, FID: 3.70)을 모두 초월했다.
• CIFAR10에서 UAC-GAN은 Inception Score 4.92와 FID 43.04를 기록했으며, AC-GAN(이상점수: 4.71, FID: 47.75)과 TAC-GAN(이상점수: 4.17, FID: 54.91)을 모두 능가했다.
• UAC-GAN의 시각적 샘플은 특히 동일한 클래스의 다양한 인스턴스를 생성함에 있어 AC-GAN과 TAC-GAN에 비해 훨씬 높은 레이블 조건부 다양성을 보였다.
• 제안된 투영 기반 MINE 아키텍처는 계산 비용을 거의 증가시키지 않아, UAC-GAN이 실세계 응용에 있어 효율적이고 실용적이다.