[논문 리뷰] Hybrid VAE: Improving Deep Generative Models using Partial Observations

Sergey Tulyakov, Andrew Fitzgibbon외 1명|arXiv (Cornell University)|2017. 11. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 5

한 줄 요약

이 논문은 레이블이 있는 데이터와 부분 관찰된 비레이블 데이터를 동시에 학습시켜 샘플 품질과 우도를 향상시키는 딥 생성 모델인 하이브리드 VAE(H-VAE)를 제안한다. 변분 추론과 분류적 사후 근사값을 조합함으로써 H-VAE는 비레이블 데이터를 데이터 기반 정규화로 활용하여, 훨씬 적은 수의 레이블 예시로도 완전히 지도 학습된 모델과 유사한 성능을 달성한다.

ABSTRACT

Deep neural network models trained on large labeled datasets are the state-of-the-art in a large variety of computer vision tasks. In many applications, however, labeled data is expensive to obtain or requires a time consuming manual annotation process. In contrast, unlabeled data is often abundant and available in large quantities. We present a principled framework to capitalize on unlabeled data by training deep generative models on both labeled and unlabeled data. We show that such a combination is beneficial because the unlabeled data acts as a data-driven form of regularization, allowing generative models trained on few labeled samples to reach the performance of fully-supervised generative models trained on much larger datasets. We call our method Hybrid VAE (H-VAE) as it contains both the generative and the discriminative parts. We validate H-VAE on three large-scale datasets of different modalities: two face datasets: (MultiPIE, CelebA) and a hand pose dataset (NYU Hand Pose). Our qualitative visualizations further support improvements achieved by using partial observations.

연구 동기 및 목표

• 완전한 레이블링을 얻는 데 비용이 많이 들고 시간이 오래 걸리는 딥 생성 모델링에서 레이블 데이터가 제한된 문제를 해결한다.
• 부족한 지도 학습 없이도 풍부한 비레이블 데이터를 활용하여 생성 모델 성능을 향상시킬 수 있는 확장 가능한 프레임워크를 개발한다.
• 생성 모델에 분류적 구성요소를 통합하여 부분 관찰 데이터와 완전한 레이블을 함께 학습할 수 있도록 한다.
• 비레이블 데이터가 저데이터 환경에서 우도와 샘플 품질을 향상시키는 효과적인 정규화로 작용함을 입증한다.

제안 방법

• 공유 잠재 변수 $ \mathbf{z} $ 에 대해 무한한 잠재 혼합 모델을 사용하는 딥 VAE를 활용하여 공동 분포 $ p_{\theta}(\mathbf{d}, \mathbf{h}) $ 를 수립한다. 여기서 $ \mathbf{d} $ 는 관측값(예: 이미지)이고 $ \mathbf{h} $ 는 연속형 레이블(예: 얼굴 랜드마크)이다.
• 관측값의 주변 우도 $ p_{\theta}(\mathbf{d}) = \int p_{\theta}(\mathbf{d}, \mathbf{h}) \, d\mathbf{h} $ 에 대한 변분 하한을 유도하여, 레이블이 있는 $ (\mathbf{d}, \mathbf{h}) $ 와 비레이블 $ \mathbf{d} $ 데이터 모두에서 학습이 가능하도록 한다.
• 변분 근사의 일부로 보조 분류 네트워크 $ q(\mathbf{h}|\mathbf{d}) $ 를 도입하여 추론 성능과 모델 용량을 향상시킨다.
• 레이블이 있는 데이터에 대한 전체 우도와 비레이블 데이터에 대한 주변 우도의 합으로 이루어진 복합 목적 함수를 최적화하며, 역전파를 사용한다.
• 재구성 기법을 적용하여 딥 신경망 파rameter $ \theta $ 와 추론 네트워크 파rameter의 엔드 투 엔드 학습을 가능하게 한다.
• 이미지와 연속형 레이블을 포함한 다중 모달 데이터에 모델을 적용하고, 보상된 변분 추론을 통해 확장 가능한 추론을 수행한다.

실험 결과

연구 질문

• RQ1 레이블 데이터가 부족한 상황에서 비레이블 데이터를 효과적으로 활용하여 딥 생성 모델의 성능을 향상시킬 수 있는가?
• RQ2 부분 관찰 데이터와 완전한 레이블을 함께 학습할 수 있는 하이브리드 생성-분류 모델을 어떻게 구성할 수 있는가?
• RQ3 비레이블 데이터를 데이터 기반 정규화로 활용하면, 저데이터 환경에서 샘플 품질과 로그 우도가 향상되는가?
• RQ4 원칙적인 변분 추론 프레임워크를 확장하여 혼합 지도 학습을 활용한 이미지와 연속형 레이블의 공동 모델링을 수행할 수 있는가?

주요 결과

• H-VAE는 훨씬 적은 수의 레이블 예시로 학습되었음에도 불구하고, 풀 레이블링이 필요한 완전 지도 학습 VAE와 유사한 테스트 세트 로그 우도를 달성하여, 비레이블 데이터가 정규화로 효과적으로 기능함을 입증한다.
• 정성적 결과에서는 H-VAE가 레이블 데이터로만 훈련된 표준 VAE보다 이미지와 관련 레이블(예: 얼굴 랜드마크)을 더 일관되고 현실적으로 생성함을 보여준다.
• H-VAE는 MultiPIE, CelebA, NYU Hand Pose 세 개의 대규모 데이터셋에서 우도와 시각적 정밀도 측면에서 일관된 향상을 보이며 샘플 품질을 향상시켰다.
• 비레이블 데이터의 포함으로 인해 일반화 능력이 향상되었으며, 모델이 데이터의 기저 맨폴드를 더 강력하고 분리된 방식으로 학습함을 알 수 있었다.
• 레이블이 있는 훈련 데이터의 비율이 매우 낮은 상황에서도 H-VAE는 표준 VAE와 다른 준지도 학습 기반 모델보다 생성 성능에서 뛰어난 성능을 보였다.
• 분류적 구성요소 $ q(\mathbf{h}|\mathbf{d}) $ 는 추론 정확도를 향상시키고, 특히 저데이터 환경에서 학습을 안정화시키는 데 기여했다.