[논문 리뷰] A Novel Variational Autoencoder with Applications to Generative Modelling, Classification, and Ordinal Regression

Joel Jaskari, Jyri Kivinen|arXiv (Cornell University)|2018. 12. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 4

한 줄 요약

이 논문은 잠재 변수에 계층적 사전분포를 도입하고, 순서형 데이터의 모델링을 향상시키기 위해 전용 순서성 강제 단위를 갖춘 새로운 변분 오토인코더를 제안한다. 생성 모델링, 명목형 분류, 순서형 회귀에서 경쟁적인 성능을 달성하며, 특히 다양한 레이블 데이터 비율에서 표준 소프트맥스보다 낮은 오차율로 순서형 작업에서 뛰어난 성능을 보인다.

ABSTRACT

We develop a novel probabilistic generative model based on the variational autoencoder approach. Notable aspects of our architecture are: a novel way of specifying the latent variables prior, and the introduction of an ordinality enforcing unit. We describe how to do supervised, unsupervised and semi-supervised learning, and nominal and ordinal classification, with the model. We analyze generative properties of the approach, and the classification effectiveness under nominal and ordinal classification, using two benchmark datasets. Our results show that our model can achieve comparable results with relevant baselines in both of the classification tasks.

연구 동기 및 목표

• 통합 아키텍처 내에서 비지도, 준지도, 지도 학습을 지원하는 변분 오토인코더를 개발하는 것.
• 분류 작업에서 순서된 클래스 관계를 더 잘 포착할 수 있도록 새로운 순서성 강제 단위를 도입하는 것.
• 각 클래스에 맞는 사전 분포를 별도의 사전 구성 요소로 모델링하여 잠재 분포의 해석 가능성 향상.
• 기준 데이터셋에서 생성 모델링, 명목형 분류, 순서형 회귀 작업에서 모델 성능 평가.
• 기존 모델 대비 계산 복잡도를 감소시켜도 경쟁 가능한 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 모델은 클래스 레이블 $ y $ 가 잠재 변수 $ \mathbf{z} $ 의 평균에 직접 영향을 주는 계층적 사전분포 구조를 사용하여, 클래스별로 다른 사전 분포를 가능하게 한다.
• 인식 네트워크 $ q_\phi(y, \mathbf{z} \mid \mathbf{x}) $ 는 $ q_\phi(y \mid \mathbf{x}) $ 와 $ q_\phi(\mathbf{z} \mid \mathbf{x}, y) $ 로 인과적으로 분해되어 클래스와 잠재 변수에 대한 동시 추론을 가능하게 한다.
• 순서성 강제 단위를 도입하여 잠재 공간에서 클래스 평균이 순서가 있도록 모델링함으로써, 순서형 분류 작업에서의 성능 향상.
• 재생성 기반 경량 하한(ELBO)과 재생성 기반 기울기(재생성 기반 경사)를 사용하여 엔드 투 엔드 학습을 수행하며, 생성 및 인식 네트워크의 기울기 기반 최적화를 가능하게 한다.
• 인식 네트워크의 근사 사후 추론을 통해 비라벨 데이터를 활용함으로써 준지도 학습을 지원한다.
• 분류기 헤드로는 ReLU/tanh 비선형성을 갖는 한 은닉층을 가진 MLP를 사용하며, 소프트맥스 및 순서형 변형 모두 동일한 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 최소한의 아키텍처 변경으로 비지도, 준지도, 지도 학습을 효과적으로 처리할 수 있는 통합 VAE 아키텍처가 가능한가?
• RQ2 순서성 강제 단위의 도입이 표준 소프트맥스 대비 순서형 데이터셋에서 분류 정확도를 향상시키는가?
• RQ3 잠재 공간 내에서 학습된 클래스별 사전 분포는 해석 가능성과 분리 정도 측면에서 어떻게 비교되는가?
• RQ4 제한된 레이블 데이터가 있는 준지도 설정에서 모델의 성능, 특히 순서형 분류에서의 성능은 어떠한가?
• RQ5 기존 최첨단 모델 대비 유사 작업에 대해 감소된 계산 복잡도로도 경쟁 가능한 성능를 달성할 수 있는가?

주요 결과

• 모든 레이블 데이터 비율에서 순서형 분류기가 표준 소프트맥스 분류기보다 낮은 평균 테스트 오차를 기록했으며, 30% 레이블 데이터 비율에서 평균 오차가 0.019 감소했다(0.189 대 0.203).
• 레이블 데이터 비율이 0.25일 때, 순서형 모델은 평균 오차 0.198(표준편차 0.026)를 기록했고, 소프트맥스 기준선(0.217 ± 0.029)을 능가했다.
• 일차원 잠재 공간의 시각화 결과에서 순서형 분류기는 더 명확하고 순서가 정렬된 클래스 분포를 생성했으며, 인접한 클래스 간의 겹침이 적었다.
• 소프트맥스 분류기는 클래스 2와 3에 대해 더 평탄하고 구분력이 떨어지는 분포를 보였고, 클래스 1은 매우 농축된 피크를 보였다.
• 생성 모델링 및 명목형 분류 작업에서 기존 모델과 유사한 성능를 보였으며, 클래스별 사전 분포 덕분에 해석 가능성 향상.
• 계층적 사전분포 구조는 클래스별 특징의 더 나은 분리(디센트레임트)를 가능하게 하여, 모델의 해석 가능성과 준지도 학습에서의 효과성 향상에 기여했다.