[논문 리뷰] Factor Analysis, Probabilistic Principal Component Analysis, Variational Inference, and Variational Autoencoder: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi외 2명|arXiv (Cornell University)|2021. 01. 03.

Neural Networks and Applications인용 수 14

한 줄 요약

이 튜토리얼 및 서베이 논문은 요인 분석, 확률적 PCA, 변분 추론, 변분 오토에인코드르(VAEs)에 대한 종합적인 개요를 제공하며, 이들의 이론적 기초, 수학적 유도 과정 및 상호연결성을 설명한다. 이들 생성 모델이 잠재 변수를 사용하여 ELBO(하한 증거) 최대화를 통해 차원 축소와 데이터 생성을 수행하는 방식을 보여주며, 요인 분석 및 확률적 PCA의 경우 닫힌 형태의 해를 가지며, VAE의 경우 신경망 기반 학습을 수행한다.

ABSTRACT

This is a tutorial and survey paper on factor analysis, probabilistic Principal Component Analysis (PCA), variational inference, and Variational Autoencoder (VAE). These methods, which are tightly related, are dimensionality reduction and generative models. They assume that every data point is generated from or caused by a low-dimensional latent factor. By learning the parameters of distribution of latent space, the corresponding low-dimensional factors are found for the sake of dimensionality reduction. For their stochastic and generative behaviour, these models can also be used for generation of new data points in the data space. In this paper, we first start with variational inference where we derive the Evidence Lower Bound (ELBO) and Expectation Maximization (EM) for learning the parameters. Then, we introduce factor analysis, derive its joint and marginal distributions, and work out its EM steps. Probabilistic PCA is then explained, as a special case of factor analysis, and its closed-form solutions are derived. Finally, VAE is explained where the encoder, decoder and sampling from the latent space are introduced. Training VAE using both EM and backpropagation are explained.

연구 동기 및 목표

• 잠재 변수 모델로서의 요인 분석, 확률적 PCA, 변분 추론, VAEs를 통합된 튜토리얼 및 서베이로 제공하여, 차원 축소 및 데이터 생성을 위한 밀접하게 연결된 생성 모델로 다루는 것.
• 증거 하한(ELBO)을 유도하고, 잠재 변수 모델에서 기대값 최대화(EM) 알고리즘을 사용한 ELBO 최대화 과정을 설명하는 것.
• 등방성 및 상관 없는 잡음 가정에 기반해 확률적 PCA가 요인 분석의 특수한 경우로 나타나며, 이로 인해 닫힌 형태의 해를 가짐을 보여주는 것.
• 에ncoder/디코더 네트워크의 역할과 확률적 샘플링을 포함하여, 변분 오토에인코드르(VAEs)의 아키텍처 및 백프로파게이션 기반 학습 방법을 설명하는 것.
• VAE에서의 블러 처리된 이미지 생성 등의 주요 과제를 강조하고, 적대적 VAE 및 계층적 변형과 같은 관련 개선 방법을 논의하는 것.

제안 방법

• 잠재 변수 모델의 로그우도에 대한 계산 가능한 하한으로서 증거 하한(ELBO)을 도출한다.
• 요인 분석 및 확률적 PCA에서 매개변수를 반복적으로 최적화하기 위해 기대값 최대화(EM) 알고리즘을 적용하며, E단계(사후 추론)와 M단계(매개변수 업데이트)로 구성된다.
• 데이터 공간에서 등방성이고 상관이 없는 잡음 가정을 통해 확률적 PCA의 닫힌 형태 해를 도출한다.
• 에ncoder가 근사 사후분포를, 디코더가 우도 모델링을 담당하는 신경망 기반 변분 추론 프레임워크인 VAE 프레임워크를 도입한다.
• 재구성 기법을 통한 백프로파게이션을 사용하여 엔드 투 엔드 최적화를 위한 VAE 학습 방법을 설명하며, 변분 추론을 통한 EM 기반 학습도 포함한다.
• 잠재 공간이 표준 정규분포에 가까워지도록 유지하기 위해 근사 사후분포와 사전분포 간의 KL 발산을 정규화 항으로 사용한다.

실험 결과

연구 질문

• RQ1 변분 추론은 잠재 변수 모델에서 계산이 불가능한 사후분포를 어떻게 계산 가능한 근사로 제공하는가?
• RQ2 요인 분석 및 확률적 PCA의 수학적 유도 과정과 EM 업데이트 규칙은 무엇인가?
• RQ3 특정 잡음 가정에 기반해 확률적 PCA가 어떻게 닫힌 형태의 해로 줄어들 수 있는가?
• RQ4 VAE 아키텍처는 신경망 환경에서 변분 추론을 어떻게 구현하는가?
• RQ5 VAE에서 EM 기반 학습과 백프로파게이션 기반 학습 간의 주요 차이점과 연결 고리는 무엇인가?

주요 결과

• ELBO는 로그우도에 대한 하한을 제공하며, 이는 변분 추론에서 핵심 목적 함수로 작용하여 잠재 변수 모델의 매개변수를 학습하는 데 사용된다.
• 요인 분석은 데이터를 잠재 변수의 선형 변환에 가우시안 잡음을 더한 것으로 모델링하며, EM 알고리즘을 통해 매개변수를 반복적으로 추정한다.
• 확률적 PCA는 i.i.d. 가우시안 잡음을 가정하는 요인 분석의 특수한 경우로서, 주성분 방향에 대해 닫힌 형태의 해를 가진다.
• VAEs는 신경망을 사용하여 변분 추론을 구현하며, 에ncoder가 사후분포를 근사하고 디코더가 우도를 모델링함으로써 엔드 투 엔드 학습이 가능하다.
• ELBO 근사와 분포 제약으로 인해 블러 처리된 이미지를 생성하는 단점이 있지만, VAE는 여전히 생성 모델링에 강력하며, 적대적 VAE 및 계층적 VAE와 같은 변형들을 탄생시켰다.
• 이 논문은 고전적 통계 모델(요인 분석, PPCA)과 현대 딥러닝 생성 모델(VAEs) 사이의 이론적·실용적 다리를 놓으며, 이들이 공유하는 확률적 기초를 보여준다.