[논문 리뷰] An Improved Self-supervised GAN via Adversarial Training

Ngoc-Trung Tran, Viet-Hung Tran외 2명|arXiv (Cornell University)|2019. 05. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 9

한 줄 요약

이 논문은 기하학적 변환을 적용한 진짜 이미지를 분류하도록 훈련하는 디스criminator(자기지도 학습 분류)와 동시에 가짜 샘플을 이 가짜 클래스와 구분하도록 훈련하는 개선된 자기지도 학습 GAN을 제안한다. 생성자는 변환된 가짜 샘플에 대한 교차 엔트로피 손실을 최소화하도록 훈련되어 진짜 샘플의 표현과 일치시킨다. 이 방법은 훈련을 안정화시키고 모드 커버리지를 향상시켜 CIFAR-10과 STL-10에서 새로운 최고의 FID 점수를 달성한다.

ABSTRACT

We propose to improve unconditional Generative Adversarial Networks (GAN) by training the self-supervised learning with the adversarial process. In particular, we apply self-supervised learning via the geometric transformation on input images and assign the pseudo-labels to these transformed images. (i) In addition to the GAN task, which distinguishes data (real) versus generated (fake) samples, we train the discriminator to predict the correct pseudo-labels of real transformed samples (classification task). Importantly, we find out that simultaneously training the discriminator to classify the fake class from the pseudo-classes of real samples for the classification task will improve the discriminator and subsequently lead better guides to train generator. (ii) The generator is trained by attempting to confuse the discriminator for not only the GAN task but also the classification task. For the classification task, the generator tries to confuse the discriminator recognizing the transformation of its output as one of the real transformed classes. Especially, we exploit that when the generator creates samples that result in a similar loss (via cross-entropy) as that of the real ones, the training is more stable and the generator distribution tends to match better the data distribution. When integrating our techniques into a state-of-the-art Auto-Encoder (AE) based-GAN model, they help to significantly boost the model's performance and also establish new state-of-the-art Fréchet Inception Distance (FID) scores in the literature of unconditional GAN for CIFAR-10 and STL-10 datasets.

연구 동기 및 목표

• 무조건적 GAN에서의 모드 붕괴와 기울기 소실 문제를 해결하기 위해 더 강력한 감독 신호를 도입하기 위해.
• 변환된 진짜 이미지에서 유도된 가짜 레이블을 사용해 디스criminator의 일반화 능력을 향상시키기 위해.
• 가짜와 진짜 변환된 샘플 간의 교차 엔트로피 손실을 일치시켜 생성자 품질을 향상시키기 위해.
• GAN과 자기지도 학습 분류 목표를 통합하여 훈련을 안정화하고 GAN에서 흔히 발생하는 발산 문제를 줄이기 위해.
• 조건부 감독 없이도 CIFAR-10과 STL-10에서 최고의 FID 성능을 달성하기 위해.

제안 방법

• 진짜 이미지에 기하학적 변환(예: 회전)을 적용하고, 자기지도 학습을 위해 가짜 레이블을 할당한다.
• 디스criminator를 두 가지 작업을 수행하도록 훈련한다: 진짜 대 가짜 샘플을 구분하는 것(기본 GAN 작업)과 변환된 진짜 이미지의 가짜 레이블을 분류하는 것(자기지도 학습 분류).
• 가짜로 변환된 샘플도 진짜 가짜 레이블 중 하나로 분류하도록 디스criminator를 훈련시켜 생성자에 대한 적대적 훈련 신호를 만든다.
• 생성자는 변환된 가짜 샘플에 대한 분류 헤드에서의 교차 엔트로피 손실을 최소화하도록 훈련되어, 생성된 샘플이 진짜 샘플의 표현과 일치하도록 보장한다.
• 하이퍼파라미터 λd와 λg를 아키텍처에 맞게 조정하여 자기지도 학습 분류 손실을 GAN 손실과 가중 조합한다.
• GAN과 자기지도 학습 구성 요소 간에 공유된 특징 추출기를 사용하여 표현 학습의 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 기하학적 변환을 통한 자기지도 학습이 무조건적 GAN에서 디스criminator의 일반화 능력을 향상시키는가?
• RQ2 가짜로 변환된 샘플에 대해 디스criminator를 적대적으로 훈련하면 모델 성능이 향상되는가?
• RQ3 진짜와 가짜 변환된 샘플 간의 교차 엔트로피 손실을 일치시키면 훈련이 안정화되고 샘플 품질이 향상되는가?
• RQ4 제안된 방법은 조건부 감독 없이도 CIFAR-10과 STL-10에서 최고의 FID 점수를 달성하는가?
• RQ5 하이퍼파라미터 λd와 λg는 다양한 아키텍처에서 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 CIFAR-10과 STL-10에서 새로운 최고의 FID 점수를 달성하여 기준 GAN과 이전의 자기지도 학습 GAN(SG-GAN)을 크게 앞서 간다.
• 자기지도 학습 기반 모델만으로도 표준 GAN보다 FID 점수가 향상되어 기하학적 변환을 통한 가짜 레이블링의 유용성을 입증한다.
• 가짜로 변환된 샘플에 대해 디스criminator를 적대적으로 훈련하면 더 견고한 디스criminator와 더 나은 생성자 안내를 얻을 수 있다.
• 진짜와 가짜 변환된 샘플 간의 교차 엔트로피 손실을 일치시키면 훈련이 안정화되고 모드 커버리지가 향상된다.
• 특히 깊은 아키텍처인 ResNet에서는 기준 모델이 포화 상태에 들어가도 이 방법은 발산 문제를 줄여준다.
• DCGAN과 ResNet에서는 λg ≈ λd/10, SN-GAN에서는 λg ≈ λd/50로 설정할 경우 CIFAR-10과 STL-10에서 최적의 성능을 달성하는 것으로 밝혀졌다.