[논문 리뷰] Class-Splitting Generative Adversarial Networks

Guillermo L. Grinblat, Lucas C. Uzal외 1명|arXiv (Cornell University)|2017. 09. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 31

한 줄 요약

이 논문은 조건부 GAN을 향상시키기 위해 GAN이 자체로 학습한 표현 공간에서 클러스터링을 통해 추가적인 고수준 클래스 레이블을 생성하는 Class-Splitting GANs를 제안한다. 기존의 클래스 레이블에 이러한 학습된 클러스터를 추가함으로써, 사전 클래스 정보가 없더라도 원본 클래스 정보를 활용한 경우와 동일하게 CIFAR-10과 STL-10에서 최고 수준의 Inception 점수를 달성하며, 샘플 품질을 크게 향상시킨다.

ABSTRACT

Generative Adversarial Networks (GANs) produce systematically better quality samples when class label information is provided., i.e. in the conditional GAN setup. This is still observed for the recently proposed Wasserstein GAN formulation which stabilized adversarial training and allows considering high capacity network architectures such as ResNet. In this work we show how to boost conditional GAN by augmenting available class labels. The new classes come from clustering in the representation space learned by the same GAN model. The proposed strategy is also feasible when no class information is available, i.e. in the unsupervised setup. Our generated samples reach state-of-the-art Inception scores for CIFAR-10 and STL-10 datasets in both supervised and unsupervised setup.

연구 동기 및 목표

• 원본 데이터셋의 클래스 수를 초월하는 효과적인 클래스 레이블 수를 늘림으로써 조건부 GAN에서 생성된 이미지의 품질을 향상시키는 것.
• 원본 클래스 레이블이 제공되지 않는 비감독 설정에서도 효과적인 이미지 생성을 가능하게 하는 것.
• GAN 모델이 학습한 표현 공간을 활용하여 의미적으로 유의미한 고수준 클러스터를 발견함으로써 생성 성능을 향상시키는 것.
• 간단하면서도 효과적인 클러스터링 기반 증강 전략을 통해 CIFAR-10 및 STL-10과 같은 벤치마크 데이터셋에서 최고 수준의 성능을 달성하는 것.

제안 방법

• 학습된 WGAN 모델의 비평가 네트워크에서 추출한 잠재 표현에 클러스터링(예: k-means)을 적용한다.
• 결과로 도출된 클러스터에서 새로운 클래스 레이블을 생성하고, 이를 학습 중 생성자에 조건으로 사용한다.
• 기존 데이터셋 레이블과 새로 생성된 클러스터 기반 레이블을 함께 사용하여 생성자와 판별자를 재학습함으로써, 조건부 GAN 설정 내에서 클래스 수를 효과적으로 증가시킨다.
• 클러스터링은 레이블 가용성 여부에 관계없이 실제 데이터 표현에 적용되기 때문에, 감독 및 비감독 학습 모두에 적합하다.
• 안정적인 WGAN-GP 설정을 사용하여 ResNet과 같은 깊은 아키텍처의 학습을 가능하게 한다.
• 클래스 수 증가에 대응하기 위해 분류기 헤드와 조건 입력을 수정함으로써 네트워크 아키텍처를 조정한다.

실험 결과

연구 질문

• RQ1 학습된 GAN의 표현 공간에서 클러스터링을 수행하면 의미 있는 고수준 클래스 레이블을 도출할 수 있으며, 이는 샘플 품질 향상에 기여하는가?
• RQ2 자체적으로 발견한 클러스터로 원래 클래스 레이블을 증강하면 감독 및 비감독 설정 모두에서 더 나은 이미지 생성이 가능한가?
• RQ3 CIFAR-10과 STL-10에서 Inception 점수 측면에서 제안된 방법은 최고 수준의 GAN들과 비교해 어떻게 성능을 내는가?
• RQ4 원본 클래스 레이블에 의존하지 않고도 고품질의 샘플을 생성할 수 있는가?

주요 결과

• 제안된 Class-Splitting GAN은 감독 설정에서 CIFAR-10에서 최고 수준의 Inception 점수 9.28을 달성하여 이전 방법들을 능가한다.
• CIFAR-10의 비감독 설정에서 이 방법은 Inception 점수 8.61을 기록하여 기존 비감독 기반 베이스라인을 모두 능가한다.
• 더 다양한 데이터를 포함하는 STL-10 데이터셋에서 감독 설정에서 Inception 점수 8.79를 달성하여 고변동성 데이터에 대해서도 효과적임을 입증한다.
• 생성 샘플의 시각적 점검 결과, 표준 WGAN-GP에 비해 세부 구조와 구조 일관성 측면에서 품질과 다양성이 향상된 것으로 나타났다.
• 클러스터링 결과는 의미적으로 유의미한 군집화(예: 측면 뷰의 말, 앞면을 향한 고양이)를 보여주며, 이는 고수준이고 해석 가능한 구조를 탐색함을 시사한다.
• 원본 클래스 레이블이 존재하지 않을 경우에도 이 방법은 효과적이며, 비감독 이미지 생성에서 뛰어난 성능을 보인다.