[논문 리뷰] Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks

Jost Tobias Springenberg|arXiv (Cornell University)|2015. 11. 19.

Digital Media Forensic Detection인용 수 397

한 줄 요약

이 논문은 비지도 및 준지도 이미지 분류를 위한 새로운 방법인 범주형 생성 대립 네트워크(CatGAN)를 소개한다. CatGAN은 판별 분류기와 대립 생성기의 공동 학습을 통해 입력과 예측된 클래스 분포 간의 상호정보를 최대화하면서 동시에 대안적 예제에 대한 강건성을 확보함으로써, 클래스당 라벨가 400개뿐인 CIFAR-10에서 19.58%의 오차로 최신 기술 수준(SOTA) 성능을 달성하며 고해상도 이미지를 생성한다.

ABSTRACT

In this paper we present a method for learning a discriminative classifier from unlabeled or partially labeled data. Our approach is based on an objective function that trades-off mutual information between observed examples and their predicted categorical class distribution, against robustness of the classifier to an adversarial generative model. The resulting algorithm can either be interpreted as a natural generalization of the generative adversarial networks (GAN) framework or as an extension of the regularized information maximization (RIM) framework to robust classification against an optimal adversary. We empirically evaluate our method - which we dub categorical generative adversarial networks (or CatGAN) - on synthetic data as well as on challenging image classification tasks, demonstrating the robustness of the learned classifiers. We further qualitatively assess the fidelity of samples generated by the adversarial generator that is learned alongside the discriminative classifier, and identify links between the CatGAN objective and discriminative clustering algorithms (such as RIM).

연구 동기 및 목표

• 생성 모델링과 판별 분류를 융합한 비지도 및 준지도 학습을 위한 통합 프레임워크를 개발하는 것.
• 학습 중에 생성된 대안적 예제에 대한 강건성을 강제함으로써 딥 네URAL 네트워크 분류기의 일반화 성능을 향상시키는 것.
• 상호정보 최대화를 통해 라벨가 없는 데이터를 효과적으로 활용함으로써 라벨 데이터가 제한된 상황에서도 효과적인 학습을 가능하게 하는 것.
• 대립 학습과 정규화된 정보 최대화(RIM)와 같은 판별 클러스터링 방법 간의 관계를 탐색하는 것.
• 표준 벤치마크인 MNIST와 CIFAR-10에서 생성된 샘플의 품질과 분류기 성능을 평가하는 것.

제안 방법

• 입력 데이터와 예측된 클래스 분포 간의 상호정보를 예측 클래스 분포에 대한 분류기의 강건성과 대비하여 최적화하는 새로운 목적 함수를 도입한다.
• 생성자 G가 분류기 D를 도전할 수 있는 대안적 예제를 생성하도록 함으로써 기존 GAN 프레임워크를 확장한다. 이때 D는 범주형 클래스 확률을 예측한다.
• 분류기는 입력 X와 예측 레이블 Y 간의 상호정보 I(X; Y|D)를 최대화하도록 최적화되어, 분리 가능하고 정보가 풍부한 표현을 촉진한다.
• 생성자는 분류기를 속이기 위해 현실적으로 보이는 예제를 생성하도록 훈련되어, 분류기가 임의의 특징에 과적합되는 것을 방지한다.
• 비지도(라벨 없음) 및 준지도(소수의 라벨 예제) 학습을 지원하기 위해, 라벨가 없는 데이터를 활용하여 일반화 성능을 향상시킨다.
• 합성 데이터, MNIST, CIFAR-10에서의 실험을 통해 제안된 방법의 타당성을 실증적으로 검증하였으며, 대안적 정규화와 라벨 효율성에 대한 분석도 수행하였다.

실험 결과

연구 질문

• RQ1 대립 학습은 준지도 학습에서 딥 네URAL 네트워크 분류기의 강건성과 일반화 성능을 향상시킬 수 있는가?
• RQ2 완전한 감독 없이도 입력과 예측된 클래스 분포 간의 상호정보를 최대화하면 표현 학습에 어떤 영향을 미치는가?
• RQ3 공동으로 훈련된 생성자는 얼마나 높은 품질의 샘플을 생성하여 기저 데이터 분포를 반영할 수 있는가?
• RQ4 CatGAN 목적 함수는 정규화된 정보 최대화(RIM)와 같은 기존 판별 클러스터링 방법과 어떤 관계가 있는가?
• RQ5 소수의 라벨 예제만 제공된 상황에서 CatGAN의 표준 이미지 분류 벤치마크 성능은 어떠한가?

주요 결과

• 클래스당 400개의 라벨 예제가 있는 CIFAR-10에서 CatGAN은 테스트 오차 19.58% (±0.58)를 달성하여 Conv-Ladder 및 표준 GAN과 같은 여러 베이스라인을 능가했다.
• 완전한 감독 하에서 CatGAN은 테스트 오차 23.4% (±0.2)를 기록하여, Conv-CatGAN 및 Conv-Ladder와 같은 최신 기술 수준의 방법들과 유사한 성능을 보였다.
• 비지도 CatGAN 모델은 MNIST, CIFAR-10, LFW에서 고해상도 이미지를 생성하였으며, 그림 3의 정성적 시각적 검토를 통해 이를 확인할 수 있었다.
• MNIST에서 모델은 로그우도(log-likelihood) 237 ± 6을 기록하였으며, 이는 Goodfellow 등(2014)이 보고한 표준 GAN의 225 ± 2와 유사한 결과였다. 다만, 추정 편향으로 인해 로그우도 비교는 경계되어야 한다고 경고하였다.
• 생성자를 제거하고 L2 정규화를 적용한 경우, 방법이 정규화된 정보 최대화(RIM)와 동일한 것으로 확인되어 판별 클러스터링 이론과의 이론적 연결성을 확인하였다.
• 대립 생성자가 분류기의 강건성 향상에 크게 기여하였으며, 저자들의 실험에서 L2 정규화가 성능 향상에 추가로 기여할 증거는 없었다.