[논문 리뷰] Good Semi-supervised Learning that Requires a Bad GAN

Zihang Dai, Zhilin Yang외 3명|arXiv (Cornell University)|2017. 05. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 231

한 줄 요약

본 논문은 GAN 기반 반감독 학습에서 악질적인(보완) 생성기가 유익하다고 밝히고, KL-발산 목표 및 판별기의 조건 엔트로피에 의해 안내되는 높은 엔트로피의 저밀도 보완 샘플을 장려하여 특징 매칭을 능가하는 실용적 방법을 제시합니다.

ABSTRACT

Semi-supervised learning methods based on generative adversarial networks (GANs) obtained strong empirical results, but it is not clear 1) how the discriminator benefits from joint training with a generator, and 2) why good semi-supervised classification performance and a good generator cannot be obtained at the same time. Theoretically, we show that given the discriminator objective, good semisupervised learning indeed requires a bad generator, and propose the definition of a preferred generator. Empirically, we derive a novel formulation based on our analysis that substantially improves over feature matching GANs, obtaining state-of-the-art results on multiple benchmark datasets.

연구 동기 및 목표

• GAN으로 반감독 학습을 동기로 삼고, 좋은 생성기와 강한 SSL 성능이 반드시 일치하지 않을 수 있음을 이해한다.
• 표준 K+1 판별기 목표 하에서 생성기가 SSL에 기여하는지 이론적으로 규명한다.
• 결정 경계 배치를 돕는 특징 공간 영역에서 샘플을 생성하는 보완 생성기를 정의하고 동기를 부여한다.
• 엔트로피가 높은 생성기와 저밀도 샘플 생성을 강제하는 실용적인 SSL 방법을 제안하여 특징 매칭보다 성능을 향상시킨다.

제안 방법

• 판별기에 K+1 분류기를 두고 GAN 기반 SSL 목표를 분석하고, 우수한 SSL은 보완(나쁜) 생성기가 필요하다고 보인다.
• 특징 공간에서 보완 생성기를 정의하고, 판별기가 올바르고 고밀도 경계를 학습하는 조건(명제 2)을 설정한다.
• 생성기 엔트로피 최대화(변분 인코더 또는 끌어당김 항 통해)와 저밀도 샘플 패널티( PixelCNN++ 밀도 모델 사용) 및 입력 공간에서 보완 분포와 p_G를 맞추는 KL-발산 목표(Eq. 4)를 결합한 생성기 목표를 도입한다.
• 판별기 목표에 조건 엔트로피 항을 추가하여 비표본 데이터에 대한 강한 진짜-가짜 판단을 강제한다(Eq. 5).
• 엔트로피 증가 방법과 저밀도 강제화를 통해 보완-생성기 프레임워크를 근사하기 위해 생성기와 판별기를 순차적으로 학습시킨다.

실험 결과

연구 질문

• RQ1 GAN 기반 SSL의 표준 K+1 판별기 목표가 생성기에서 이익을 얻는가, 그리고 어떤 조건에서 생성기가 유익하거나 손해가 되는가?
• RQ2 완벽한 생성기라기보다 보완(나쁜) 생성기가 반감독 분류 성능을 개선할 수 있는가, 그리고 그 이유는 무엇인가?
• RQ3 고차원 데이터에서 보완 생성기 아이디어를 실현하기 위해 생성기와 판별기가 실용적인 목표를 어떻게 설계할 수 있는가?
• RQ4 보완-생성기에서 영감을 얻은 방법이 특징 매칭과 비교해 표준 SSL 벤치마크에서 어떤 실험적 이점을 보여주는가?

주요 결과

• 완전한 생성기는 K+1 판별기 형태에서 일반화 성능을 향상시키지 못한다(명제 1).
• 보완(나쁜) 생성기는 결정 경계를 저밀도 특징 공간 영역에 배치하는 데 도움을 준다(명제 2).
• 보완 분포를 향한 엔트로피 최대화와 저밀도 샘플링을 결합한 제안된 생성기 목표는 같은 판별기 구조를 사용할 때 MNIST, SVHN, CIFAR-10에서 특징 매칭보다 성능을 향상시킨다.
• 판별기에 조건 엔트로피 항을 추가하면 비표본 데이터에 대한 강한 진짜-가짜 신념이 강화되어 SSL 과정에 도움을 준다.
• 실험적으로 이 방법은 작은 판별기로도 MNIST, SVHN, CIFAR-10에서 최첨단 결과를 달성하며, 더 큰 모델 및 자기 앙상블 접근법과도 경쟁력이 있다.