[논문 리뷰] Semi-Supervised Generation with Cluster-aware Generative Models

Lars Maaløe, M. Fraccaro외 1명|arXiv (Cornell University)|2017. 04. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 12

한 줄 요약

이 논문은 비라벨 데이터를 활용해 깊은 잠재 공간에서 구조적이고 클러스터 인식 표현을 학습하고, 제한된 라벨 데이터를 사용해 이러한 클러스터를 정밀화하는 변분 오토에인드어(CaGeM)를 제안한다. 모델은 순열 불변 MNIST에서 −79.38 nats의 최신 기준(log-likelihood) 성능을 달성하며, 고차원 레이어에서 명시적인 클러스터링을 통해 변화 요인을 분리함으로써 생성 모델링을 향상시킨다.

ABSTRACT

Deep generative models trained with large amounts of unlabelled data have proven to be powerful within the domain of unsupervised learning. Many real life data sets contain a small amount of labelled data points, that are typically disregarded when training generative models. We propose the Cluster-aware Generative Model, that uses unlabelled information to infer a latent representation that models the natural clustering of the data, and additional labelled data points to refine this clustering. The generative performances of the model significantly improve when labelled information is exploited, obtaining a log-likelihood of -79.38 nats on permutation invariant MNIST, while also achieving competitive semi-supervised classification accuracies. The model can also be trained fully unsupervised, and still improve the log-likelihood performance with respect to related methods.

연구 동기 및 목표

• 과도한 피팅 없이 지도 학습이 제한된 VAE에 라벨 데이터를 통합함으로써 딥 생성 모델링을 향상시키는 것.
• 깊은 VAE에서 활용되지 않는 잠재 레이어 문제를 해결하기 위해, 구조적 클러스터링을 통해 고차원 확률적 레이어의 활성화를 촉진하는 것.
• 라벨 데이터가 분류 정확도를 넘어서 생성 성능을 향상시키는 준지도 생성을 가능하게 하는 것.
• 이산 잠재 변수를 사용해 깊은 표현에서 자연스러운 데이터 클러스터링을 모델링함으로써, 분리도 및 생성 품질을 향상시키는 것.

제안 방법

• 데이터 표현의 자연스러운 클러스터링을 모델링하기 위해 상단 레이어에 이산 잠재 변수를 도입하여 표준 VAE를 확장한다.
• 비라벨 데이터를 사용해 이산 변수를 통해 클러스터 구조를 추론하고, 클러스터 인식 사전 확률을 형성한다.
• 라벨 데이터를 통합해 클러스터 할당을 정밀화함으로써, 클래스 조건부 클러스터링을 통한 생성 모델링 향상.
• 재생성 기반 경사 하강법을 사용해 ELBO를 최적화함으로써 엔드 투 엔드 학습을 가능하게 하는 변분 추론을 적용한다.
• 후방 분포를 근사하기 위해 하향식 의존성 구조를 가진 계층적 추론 네트워크를 사용한다.
• 먼저 비라벨 데이터에서 학습하고 나서 라벨 데이터로 미세조정하는 두 단계 학습 체계를 적용해 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 제한된 라벨 데이터가 분류 정확도를 넘어서 딥 생성 모델의 생성 성능을 향상시킬 수 있는가?
• RQ2 비라벨 데이터는 깊은 잠재 표현을 의미 있는 클러스터로 구조화하는 데 어떻게 활용될 수 있는가?
• RQ3 VAE의 상단 레이어에 존재하는 이산 잠재 변수가 더 깊은 확률적 레이어의 활성화와 활용도를 향상시킬 수 있는가?
• RQ4 클러스터 인식 표현 학습은 생성 모델의 로그-가능도 및 분리도를 향상시키는가?
• RQ5 단일 모델이 준지도 생성과 준지도 분류 양 측면에서 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• CaGeM은 순열 불변 MNIST에서 −79.38 nats의 로그-가능도 성능을 달성하여 준지도 생성 모델의 새로운 최고 기록을 수립했다.
• OMNIGLOT 데이터셋에서 비라벨 및 라벨 데이터를 모두 활용함으로써, 유사한 VAE 기반 모델 대비 로그-가능도 성능을 향상시켰다.
• 완전히 비라벨 학습으로도 CaGeM은 베이스라인 VAE보다 로그-가능도 성능에서 뛰어나, 더 나은 표현 학습 능력을 보였다.
• 상단 레이어에 이산 잠재 변수를 포함시킴으로써 깊은 확률적 레이어의 프루닝 효과가 크게 감소하여 더 나은 특징 추상화가 가능해졌다.
• 경쟁적인 준지도 분류 정확도를 달성하여 생성 및 분류 작업 양면에서 이중 기능을 수행함을 보였다.
• 라벨 데이터가 잠재 공간의 클러스터 구조를 정밀화시켜 더 분리되고 의미 있는 표현을 만들어냈다.