[논문 리뷰] Triple Generative Adversarial Networks

Chongxuan Li, Kun Xu외 3명|arXiv (Cornell University)|2019. 12. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 79인용 수 9

한 줄 요약

이 논문은 제한된 감독 하에서 반도체 분류와 클래스 조건부 이미지 생성을 동시에 가능하게 하는 세 플레이어 최소최대 게임 프레임워크인 Triple-GAN을 제안한다. 생성자, 분류기, 판별기로 구성된 이 프레임워크는 데이터 증강에 의존하지 않고도 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 반도체 학습 및 극도로 낮은 데이터 환경에서도 뛰어난 성능을 보인다.

ABSTRACT

We propose a unified game-theoretical framework to perform classification and conditional image generation given limited supervision. It is formulated as a three-player minimax game consisting of a generator, a classifier and a discriminator, and therefore is referred to as Triple Generative Adversarial Network (Triple-GAN). The generator and the classifier characterize the conditional distributions between images and labels to perform conditional generation and classification, respectively. The discriminator solely focuses on identifying fake image-label pairs. Under a nonparametric assumption, we prove the unique equilibrium of the game is that the distributions characterized by the generator and the classifier converge to the data distribution. As a byproduct of the three-player mechanism, Triple-GAN is flexible to incorporate different semi-supervised classifiers and GAN architectures. We evaluate Triple-GAN in two challenging settings, namely, semi-supervised learning and the extreme low data regime. In both settings, Triple-GAN can achieve excellent classification results and generate meaningful samples in a specific class simultaneously. In particular, using a commonly adopted 13-layer CNN classifier, Triple-GAN outperforms extensive semi-supervised learning methods substantially on more than 10 benchmarks no matter data augmentation is applied or not.

연구 동기 및 목표

• 제한된 감독 하에서 이중 플레이어 GAN이 분류 표현 학습과 분리된 조건부 생성을 하는 데에 한계를 보이는 문제를 해결하기 위해.
• 이론적으로 탄탄한 프레임워크 안에서 반도체 분류와 조건부 이미지 생성을 하나의 구조로 통합하기 위해.
• 기존의 조건부 GAN에서 분류 성능와 생성 성능 사이의 상충 관계를 해소하기 위해 분류기와 판별기의 역할을 분리함으로써 성능 향상을 이루기 위해.
• 비라벨 데이터가 존재하지 않는 극도로 낮은 데이터 환경에서도 효과적인 학습이 가능하도록 하기 위해.
• 다양한 반도체 분류기와 GAN 아키텍처를 통합할 수 있는 유연한 아키텍처를 제공하기 위해.

제안 방법

• 생성자, 분류기, 판별기로 구성된 세 플레이어 최소최대 게임을 정의하며, 각 요소가 학습 과정에서 고유한 역할을 수행한다.
• 생성자는 이미지 생성을 위한 조건부 데이터 분포 p(x|y)를 학습한다; 분류기는 분류를 위한 p(y|x)를 학습한다; 판별기는 진짜와 가짜 이미지-라벨 쌍을 구분한다.
• 비모수적 가정을 도입하여, 게임이 유일한 균형점에 도달함을 증명하며, 이 경우 생성자 및 분류기의 분포가 진짜 데이터 분포로 수렴함을 보장한다.
• 모든 세 구성 요소를 동시에 최적화할 수 있는 통합된 학습 목표를 사용하여 공통된 특징 표현을 기반으로 종단간 학습을 가능하게 한다.
• 표준 CNN 및 GAN 아키텍처(예: 13층 CNN, Improved-GAN)를 Triple-GAN 프레임워크 내의 구성 요소로 활용한다.
• 두 가지 변형인 Triple-GAN-V1과 Triple-GAN-V2를 도입하며, V2는 향상된 학습 기법을 통합하여 더 높은 성능을 달성한다.

실험 결과

연구 질문

• RQ1 제한된 감독 하에서 반도체 분류와 조건부 이미지 생성을 효과적으로 통합할 수 있는 통합된 세 플레이어 GAN 프레임워크는 가능한가?
• RQ2 세 플레이어 게임에서 분류기와 판별기를 분리함으로써 이중 플레이어 조건부 GAN보다 더 나은 균형 수렴과 성능 향상을 이룰 수 있는가?
• RQ3 비라벨 데이터가 존재하지 않는 극도로 낮은 데이터 환경에서 Triple-GAN의 성능은 어떠한가?
• RQ4 특히 낮은 데이터 설정에서 데이터 증강 없이도 Triple-GAN이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 제안된 프레임워크에서 공동 생성자 및 분류기의 수렴에 대한 이론적 보장은 무엇인가?

주요 결과

• 데이터 증강을 적용한 상황에서 Triple-GAN-V2는 SVHN에서 평균 교사(MT) 기준보다 1.83% 향상된 10.17%를 기록하며, CIFAR10에서는 17.34%에서 18.10%로 1.23% 향상되었다.
• 극도로 낮은 데이터 환경에서, Triple-GAN-V2는 라벨이 1,000개 뿐인 SVHN에서 10.17%의 Top-1 정확도를 달성했으며, MT 기준(11.08%)과 CNN 기준(22.72%)보다 뚜렷이 뛰어났다.
• 4,000개의 레이블이 있는 CIFAR10에서 Triple-GAN-V2는 데이터 증강을 적용한 결과 17.34%의 정확도를 기록했으며, MT 기준(18.10%)을 초월했고, 동일한 설정에서 DADA보다도 뛰어났다(24.17%).
• 반도체 학습 환경에서 Triple-GAN-V1은 4,000개의 레이블이 있는 CIFAR10에서 32.73%의 정확도를 기록했으며, 데이터 증강 없이도 CNN 기준(46.10%)보다 뛰어났다.
• 극도로 낮은 데이터 환경에서 CIFAR10의 Triple-GAN-V2 FID 점수는 42.3으로, 반도체 학습 환경의 17.9보다 떨어지지만 여전히 의미 있는 이미지를 생성한다.
• Triple-GAN-V2는 반도체 학습 및 극도로 낮은 데이터 환경에서 10개 이상의 벤치마크에서 최신 기술 수준의 성능을 달성하며, 강건성과 일반화 능력을 입증했다.