[논문 리뷰] Auxiliary Deep Generative Models

Lars Maaløe, Casper Kaae Sønderby외 2명|arXiv (Cornell University)|2016. 02. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 154

한 줄 요약

이 논문은 Auxiliary Deep Generative Models (ADGM)와 Skip Deep Generative Models (SDGM)을 도입하여 보조 잠재 변수를 사용해 변분 포스트를 더 표현력 있게 만들고 엔드투엔드 학습 및 MNIST, SVHN, NORB에서 최첨단 반지도학습 결과를 가능하게 한다.

ABSTRACT

Deep generative models parameterized by neural networks have recently achieved state-of-the-art performance in unsupervised and semi-supervised learning. We extend deep generative models with auxiliary variables which improves the variational approximation. The auxiliary variables leave the generative model unchanged but make the variational distribution more expressive. Inspired by the structure of the auxiliary variable we also propose a model with two stochastic layers and skip connections. Our findings suggest that more expressive and properly specified deep generative models converge faster with better results. We show state-of-the-art performance within semi-supervised learning on MNIST, SVHN and NORB datasets.

연구 동기 및 목표

• 깊은 생성 모델을 보조 변수로 확장하여 변분 근사를 개선한다.
• 보조 변수가 반지도 학습에서 더 빠른 수렴과 더 나은 성능을 얻게 함을 입증한다.
• 건너뛰기 연결이 있는 두 층의 확률 모델(SDGM)을 도입하고 표준 벤치마크에서 평가한다.

제안 방법

• p(x,z,a)=p(a|x,z)p(x,z)로 만들어 모델이 a에 대한 주변합에 대해 불변이 되도록 보조 잠재 변수 a를 p(x,z,a)에 도입한다.
• a를 포함하는 변분 하한을 도출하여 q(a|x)와 q(z|a,x)가 더 풍부한 포스터리를 형성하게 한다(AVAE/ADGM 프레임워크).
• q(y|a,x)와 pθ(a|z,y,x), pθ(x|z,y)를 포함하여 y라는 클래스 잠재 변수를 추가하여 반지도 학습으로 확장한다.
• 추론 모델 qφ(a|x) qφ(y|a,x) qφ(z|a,y,x)를 정의하고 역전파를 위한 재매개변화를 사용한다.
• 화살표를 반전시켜 스킵 연결이 있는 두 층 생성 모델로 만든 Skip Deep Generative Model (SDGM)을 제안한다.
• 제너레이티브와 판별적 항의 균형을 맞추는 결합 목적함수(α 가중치)로 Adam으로 엔드-투-엔드 학습한다.
• toy 분포, MNIST, SVHN, NORB에서 AVAE/ADGM/SDGM를 기준 VAEs 및 반지도 방법과 비교 평가한다.

실험 결과

연구 질문

• RQ1 깊은 생성 모델에서 변분 분포의 보조 변수가 복잡한 포스터리를 더 잘 근사할 수 있는가?
• RQ2 ADGM과 SDGM이 표준 벤치마크에서 수렴 속도와 반지도 분류 정확도를 개선하는가?
• RQ3 MNIST, SVHN, NORB에서 보조 변수 방법이 VAT, Ladder, M2 등의 다른 반지도 방법과 비교하여 어떤 성과를 보이는가?

주요 결과

방법	MNIST (100 라벨링)	MNIST (1000 라벨링)	SVHN (1000 라벨링)	NORB (1000 라벨링)
M1+TSVM	11.82% (±0.25)	-	-	-
M1+M2	3.33% (±0.14)	-	-	-
VAT	2.12%	-	24.63%	-
Ladder Network	1.06% (±0.37)	-	-	-
Auxiliary Deep Generative Model (ADGM)	0.96% (±0.02)	-	22.86%	10.06% (±0.05)
Skip Deep Generative Model (SDGM)	1.32% (±0.07)	-	16.61% (±0.24)	9.40% (±0.04)

• ADGM 및 SDGM은 보고된 방법들 중에서 MNIST, SVHN, NORB에서 최첨단 반지도 성능을 달성한다.
• 100개의 라벨이 있는 MNIST에서 ADGM은 0.96% 오차(±0.02), SDGM은 1.32%(±0.07)로 여러 바운드라인 대비 경쟁력 있는 또는 더 나은 성능을 보인다.
• SVHN에서 ADGM은 22.86% 오차, SDGM은 16.61% 오차를 보여 VAT를 능가하고 일부 설정에서 Ladder에 비견된다.
• NORB에서 ADGM은 10.06% (±0.05) 및 SDGM 9.40% (±0.04)로, 가우시안 입력에 대해 SDGM이 종종 ADGM보다 더 안정적이다.
• toy 실험은 보조 변수가 가우시안을 넘는 다모달/포스터리 distributions를 모델링하게 하여 변분 하한을 개선함을 보여준다.
• SDGM은 합성 반지도 과제에서 ADGM보다 수렴 속도가 빠르고 데이터 매니폴드를 더 명확하게 분리하는 것을 보인다.