[논문 리뷰] Semi-Supervised Learning with Generative Adversarial Networks

Augustus Odena|arXiv (Cornell University)|2016. 06. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 9인용 수 542

한 줄 요약

판별기가 N+1개의 클래스를 출력하도록 만들어 GAN을 반지도 학습으로 확장하고, 분류기와 생성기를 함께 학습시켜 데이터 효율적인 분류와 더 나은 샘플 품질을 얻는다.

ABSTRACT

We extend Generative Adversarial Networks (GANs) to the semi-supervised context by forcing the discriminator network to output class labels. We train a generative model G and a discriminator D on a dataset with inputs belonging to one of N classes. At training time, D is made to predict which of N+1 classes the input belongs to, where an extra class is added to correspond to the outputs of G. We show that this method can be used to create a more data-efficient classifier and that it allows for generating higher quality samples than a regular GAN.

연구 동기 및 목표

• 생성 모델을 학습시키는 동시에 반지도 학습 분류를 수행하는 방법을 동기 부여하고 개발한다.
• 판별기가 실/가짜 외에 클래스 라벨도 출력할 수 있도록 하여 G, D, C 간의 공유 표현을 형성한다.
• MNIST에서 G-D-C의 공동 학습을 통해 데이터 효율성 향상과 샘플 품질 개선을 보여준다.

제안 방법

• GAN 판별기에 N개의 실제 클래스에 더해 FAKE 클래스를 포함하는 N+1 출력을 갖도록 확장한다.
• 데이터의 관측된 라벨에 대한 음의 로그 우도(NLL)와 생성 샘플에 대한 FAKE 라벨을 최소화하도록 D/C를 학습하고, G를 D/C의 정확도를 최대화하도록 학습한다.
• 판별과 분류 작업 간의 가중치를 공유하는 단일 네트워크 아키텍처를 사용한다( D가 C로 작동).
• 원한다면 생성기를 업데이트하지 않고 학습된 베이스라인 분류기와 SGAN을 비교한다.
• 다양한 데이터 가용성에서 MNIST에 대한 생성 품질과 분류 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 GAN 판별기를 반지도 학습을 위한 명시적 클래스 라벨 출력으로 확장할 수 있는가?
• RQ2 레이블이 제한된 MNIST에서 판별과 분류 간 가중치 공유가 데이터 효율성을 향상시키는가?
• RQ3 G-D-C의 공동 학습이 표준 GAN보다 더 높은 품질의 샘플과 더 빠른 생성기 학습을 제공하는가?
• RQ4 진짜 클래스 라벨을 사용할 때와 REAL/FAKE 라벨만 사용할 때 SGAN의 성능은 어떻게 다른가?
• RQ5 반지도 학습 프레임워크로서 SGAN의 실용적 이점과 한계는 무엇인가?

주요 결과

예시	CNN	SGAN
1000	0.965	0.964
100	0.895	0.928
50	0.859	0.883
25	0.750	0.802

• SGAN 출력은 MNIST에서 초기화에 관계없이 표준 GAN 샘플보다 현저히 더 명확하다.
• 레이블 데이터가 감소할 때 생성기 업데이트 없이 학습된 베이스라인 분류기를 능가하여 데이터 효율성 향상을 시사한다.
• 제한된 학습 데이터에서 SGAN은 베이스라인보다 더 높은 분류 정확도를 유지한다.
• 분류기 정확도 예시는 더 적은 데이터 크기에서 SGAN이 CNN 베이스라인보다 더 높은 정확도를 달성함을 보여준다.