[논문 리뷰] Score-Guided Generative Adversarial Networks

Minhyeok Lee, Junhee Seok|arXiv (Cornell University)|2020. 04. 09.

Anomaly Detection Techniques and Applications참고 문헌 32인용 수 4

한 줄 요약

이 논문은 사전 훈련된 평가자 네트워크를 사용하여 생성자 훈련을 인셉션 스코어를 통해 안내하는 새로운 GAN 아키텍처인 스코어 가이드드 GAN(ScoreGAN)을 제안한다. 이는 인셉션 네트워크에 대한 과적합을 방지한다. 인셉션 스코어를 주요 목표가 아닌 보조 손실로 사용함으로써, ScoreGAN은 CIFAR-10(스코어: 10.36 ± 0.15)에서 최신 기술 수준의 성능을 달성하고, CIFAR-100에서도 기존 방법들을 능가한다(FID: 13.98).

ABSTRACT

We propose a Generative Adversarial Network (GAN) that introduces an evaluator module using pre-trained networks. The proposed model, called score-guided GAN (ScoreGAN), is trained with an evaluation metric for GANs, i.e., the Inception score, as a rough guide for the training of the generator. By using another pre-trained network instead of the Inception network, ScoreGAN circumvents the overfitting of the Inception network in order that generated samples do not correspond to adversarial examples of the Inception network. Also, to prevent the overfitting, the evaluation metrics are employed only as an auxiliary role, while the conventional target of GANs is mainly used. Evaluated with the CIFAR-10 dataset, ScoreGAN demonstrated an Inception score of 10.36$\pm$0.15, which corresponds to state-of-the-art performance. Furthermore, to generalize the effectiveness of ScoreGAN, the model was further evaluated with another dataset, i.e., the CIFAR-100; as a result, ScoreGAN outperformed the other existing methods, where the Fréchet Inception Distance (FID) was 13.98.

연구 동기 및 목표

• 인셉션 네트워크의 특징을 평가 지표로 사용할 때 GAN이 인셉션 네트워크에 과적합되는 문제를 해결하기 위해.
• 외부 사전 훈련된 네트워크를 스코어 가이드드 평가자로 사용하여 샘플 품질 향상과 훈련 안정성 향상을 도모하기 위해.
• 인셉션 스코어와 같은 평가 지표를 보조적으로 사용함으로써 GAN 성능을 향상시키되 일반화 능력을 손상시키지 않는지를 입증하기 위해.
• CIFAR-10을 초월해 다양한 데이터셋, 특히 CIFAR-100에서의 일반화 능력을 검증하기 위해.

제안 방법

• 사전 훈련된 분류기(예: 인셉션 또는 기타 네트워크)를 평가 모듈로 사용하는 스코어 가이드드 GAN(ScoreGAN)을 도입한다.
• 주요 손실 목표가 아닌, 생성자 훈련 중 인셉션 스코어를 정규화 신호로 활용한다.
• 사전 훈련된 네트워크를 사용해 특징 기반 스코어를 계산하여 생성자가 고품질이고 다양한 샘플을 생성하도록 안내한다.
• 표준 GAN 훈련 목표(예: 적대적 손실)를 주 훈련 신호로 유지하고, 평가 지표는 보조 보조 손실로 기능시킨다.
• 동일한 아키텍처와 훈련 프로토콜을 사용해 CIFAR-10 및 CIFAR-100 데이터셋에 이 방법을 적용한다.
• 훈련 기간 동안 평가자 네트워크를 고정시켜 분포 이탈과 적대적 예제에 대한 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 인셉션 스코어를 통해 사전 훈련된 네트워크가 GAN 훈련을 안내함으로써 샘플 품질 향상과 과적합 감소를 이룰 수 있는가?
• RQ2 인셉션 스코어를 주 목표가 아닌 보조 손실로 취급함으로써 GAN의 일반화 능력 향상이 이루어지는가?
• RQ3 스코어 가이드드 훈련 철학이 CIFAR-100과 같은 다른 데이터셋으로도 일반화 가능한가?
• RQ4 Inception 스코어와 프레셰 인셉션 디스턴스(Fréchet Inception Distance) 측면에서 ScoreGAN은 최신 기술 수준의 GAN과 비교해 어떻게 성능을 냈는가?
• RQ5 평가자로 비-인셉션 사전 훈련된 네트워크를 사용할 경우, 적대적 과적합을 방지하는 데 어떤 영향을 미치는가?

주요 결과

• ScoreGAN은 CIFAR-10에서 10.36 ± 0.15의 인셉션 스코어를 기록하여, 출판 당시 최신 기술 수준의 성능을 달성했다.
• CIFAR-100에서는 프레셰 인셉션 디스턴스(FID)가 13.98로 기존 방법들을 능가하는 성능을 보였다.
• 인셉션 스코어를 보조 손실로 사용함으로써 표준 GAN보다 인셉션 네트워크에 대한 과적합이 감소했다.
• 모델은 다른 데이터셋으로의 일반화 능력이 뛰어나 기준 GAN 대비 일관된 성능 향상을 보였다.
• 사전 훈련된 평가자 네트워크는 훈련 전반에 걸쳐 효과적이고 안정적이었으며, 적대적 예제로 인한 분포 이탈을 방지했다.
• 인셉션 스코어와 FID 지표를 통해 고해상도의 샘플 다양성과 정확성 유지가 확인되었다.