[논문 리뷰] Improved Techniques for Training GANs

Tim Salimans, Ian Goodfellow외 4명|arXiv (Cornell University)|2016. 06. 10.

Generative Adversarial Networks and Image Synthesis인용 수 1,383

한 줄 요약

이 논문은 GAN 훈련을 안정화하고, 반지도 학습을 개선하며, 생성 이미지의 시각적 품질을 높이기 위해 새로운 구조적 특징과 학습 절차를 도입하여 MNIST, CIFAR-10, SVHN에서 최첨단 결과를 달성한다. 또한 고해상도 ImageNet 샘플을 보여주고 Inception 기반 평가 지표를 제안한다.

ABSTRACT

We present a variety of new architectural features and training procedures that we apply to the generative adversarial networks (GANs) framework. We focus on two applications of GANs: semi-supervised learning, and the generation of images that humans find visually realistic. Unlike most work on generative models, our primary goal is not to train a model that assigns high likelihood to test data, nor do we require the model to be able to learn well without using any labels. Using our new techniques, we achieve state-of-the-art results in semi-supervised classification on MNIST, CIFAR-10 and SVHN. The generated images are of high quality as confirmed by a visual Turing test: our model generates MNIST samples that humans cannot distinguish from real data, and CIFAR-10 samples that yield a human error rate of 21.3%. We also present ImageNet samples with unprecedented resolution and show that our methods enable the model to learn recognizable features of ImageNet classes.

연구 동기 및 목표

• GAN 훈련의 수렴성과 안정성 향상.
• GAN을 활용한 반지도 학습 성능 향상.
• 여러 데이터셋에 걸쳐 고품질의 지각적으로 현실적인 이미지를 생성.
• GAN을 효과적으로 학습시키기 위한 실용적인 기술을 제공.

제안 방법

• 생성기 목표로서 특징 일치(feature matching)를 도입하여 중간 판별기 층에서 실제 데이터의 통계를 맞추도록 한다.
• 생성기의 모드 붕괴를 방지하기 위해 판별기가 미니배치 내 샘플을 비교하도록 하는 미니배치 차별화를 구현한다.
• 학습을 안정화하기 위해 매개변수의 실행 평균으로부터의 편차를 벌주어 historical averaging을 사용한다.
• 데이터가 부족할 때의 문제를 피하면서 판별기를 안정화하기 위해 한쪽 라벨 스무딩(one-sided label smoothing)을 적용한다.
• 생성기에서 배치 통계를 개별 샘플 출력과 분리하기 위해 가상 배치 정규화(virtual batch normalization)를 도입한다.
• 이미지 품질과 다양성에 대한 자동화된, 인간-상관적 척도인 Inception 점수를 제안한다.

실험 결과

연구 질문

• RQ1 안정화 기법들(feature matching, minibatch discrimination, historical averaging, label smoothing, virtual batch normalization)이 GAN의 수렴 및 샘플 품질을 향상시킬 수 있는가?
• RQ2 이 기법들이 MNIST, CIFAR-10, SVHN에서의 반지도 학습 성능과 ImageNet 규모의 생성 성능을 향상시키는가?
• RQ3 제안된 Inception 점수가 인간의 이미지 품질 및 다양성 판단에 대한 신뢰할 수 있는 대리 척도인가?
• RQ4 새로운 기법들이 대규모 데이터셋에서 인식 가능한 특징을 생성하기 위해 기존 GAN 아키텍처와 어떻게 상호 작용하는가?

주요 결과

• MNIST, CIFAR-10, SVHN에서 최첨단의 반지도 분류 결과를 얻었다.
• 일부 설정에서 MNIST 샘플이 사람에 의해 실제 데이터와 구별되지 않는 수준으로 생성되었으며; CIFAR-10 샘플은 시각적 튜링 테스트에서 사람의 오류율이 21.3%였다.
• 이미지넷과 유사한 고해상도 샘플을 생성하고 ImageNet 클래스의 인식 가능한 특징을 학습했다.
• Inception 점수는 인간 판단과 상관관계가 있으며 생성 이미지에 대한 확장 가능한 자동 평가 지표를 제공한다.
• 삭제 분석(ablation) 연구에서 미니배치 특징과 라벨 관련 기술들이 샘플 품질과 다양성에 결정적임을 보였다.
• 여러 모델의 앙상블이 반지도 분류 성능을 추가로 향상시켰다.