[논문 리뷰] Gaussian Copula Variational Autoencoders for Mixed Data

Suwon Suh, Seungjin Choi|arXiv (Cornell University)|2016. 04. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 8

한 줄 요약

이 논문은 혼합 연속형 및 이산형 데이터에서 표현 학습을 향상시키기 위해 가우시안 커플라 프레임워크 내에서 계수-일치 근사 공분산 행렬을 통해 局소 의존성 구조를 모델링함으로써 가우시안 커플라 변분 오토인코더(GCVAE)를 제안한다. VAE-ROC를 커플라 기반의 의존성 모델링과 이산 변수의 연속적 확장으로 확장함으로써 GCVAE는 표준 VAE에 비해 실제 데이터셋에서 유의미하게 높은 로그우도를 달성한다.

ABSTRACT

The variational autoencoder (VAE) is a generative model with continuous latent variables where a pair of probabilistic encoder (bottom-up) and decoder (top-down) is jointly learned by stochastic gradient variational Bayes. We first elaborate Gaussian VAE, approximating the local covariance matrix of the decoder as an outer product of the principal direction at a position determined by a sample drawn from Gaussian distribution. We show that this model, referred to as VAE-ROC, better captures the data manifold, compared to the standard Gaussian VAE where independent multivariate Gaussian was used to model the decoder. Then we extend the VAE-ROC to handle mixed categorical and continuous data. To this end, we employ Gaussian copula to model the local dependency in mixed categorical and continuous data, leading to {\em Gaussian copula variational autoencoder} (GCVAE). As in VAE-ROC, we use the rank-one approximation for the covariance in the Gaussian copula, to capture the local dependency structure in the mixed data. Experiments on various datasets demonstrate the useful behaviour of VAE-ROC and GCVAE, compared to the standard VAE.

연구 동기 및 목표

• 디코더에서 다변수 정규분포 가정이 독립적이라는 가정으로 인해 복잡한 데이터 만곡선을 포착하지 못하는 표준 VAE의 한계를 해결하기 위해.
• 잠재 변수의 함수로서 주성분 방향을 학습하여 국소 만곡선 구조를 모델링함으로써 표현 학습을 향상시키기 위해.
• 가우시안 커플라와 효율적인 공분산 매개변수화를 통합하여 혼합 연속형 및 이산형 데이터를 처리할 수 있도록 VAE를 확장하기 위해.
• 잠재 변수에 따라 매끄럽고 의존성 구조가 변화하는 모델링을 가능하게 하기 위해 연속적 확장을 적용하고 무한 혼합 모델링을 사용하기 위해.

제안 방법

• 잠재 변수에 따라 신경망을 통해 학습되는 주성분 방향 벡터의 계수-일치 외적곱으로 디코더의 공분산 행렬을 모델링하는 VAE-ROC를 제안한다.
• VAE-ROC를 가우시안 커플라를 사용하여 혼합 데이터에 확장함으로써, 근사된 공분산 행렬을 통한 커플라 공분산 행렬의 계수-일치 근사를 적용한다.
• 이산 변수를 커플라 프레임워크 내에서 처리하기 위해 연속적 확장을 적용하여, 조작된 균일분포의 몬테카를로 샘플링을 통한 미분 가능한 우도 추정을 가능하게 한다.
• 커플라 공분산 행렬의 계수-일치 근사를 적용하여 매개변수 효율성을 확보하면서 국소 의존성 구조를 포착한다.
• 각 구성요소가 잠재 공간 내에서 잠재 변수에 의해 인덱싱된 국소 의존성 구조를 나타내는 잠재 공간 상의 무한 혼합 모델을 사용한다.
• 재생가능한 경사 하강법 기반의 변분 하한 최적화를 통해 모델을 학습하며, 재생가능한 경사도를 사용한다.

실험 결과

연구 질문

• RQ1 디코더에서 국소 주성분 방향을 모델링하면 표준 VAE에 비해 데이터 만곡선 표현이 향상되는가?
• RQ2 커플라 기반 프레임워크가 혼합 연속형 및 이산형 데이터의 의존성을 VAE 프레임워크 내에서 효과적으로 모델링할 수 있는가?
• RQ3 연속적 확장 기법이 미분 가능한 VAE 설정에서 이산 변수에 대한 효과적인 우도 추정을 가능하게 하는가?
• RQ4 커플라 공분산 행렬의 계수-일치 근사가 표현력을 유지하면서도 매개변수 수를 줄일 수 있는가?
• RQ5 GCVAE는 실제 혼합 데이터 벤치마크에서 표준 VAE보다 더 높은 로그우도를 달성하는가?

주요 결과

• UCI Auto 데이터셋에서 GCVAE는 테스트 로그우도 -189.344 ± 4.599를 기록하여 표준 VAE의 -200.289 ± 3.751보다 유의미하게 높은 성능을 보였다.
• UCI SPECT 데이터셋에서 GCVAE는 -134.579 ± 2.621의 로그우도를 기록했고, VAE의 -144.195 ± 3.443보다 우수한 밀도 추정 성능을 보였다.
• GCVAE의 켄달의 타우 시각화 결과에서, 마력과 무게 사이의 공조 쌍, 연도와 실린더 수 사이의 역조화 쌍 등 역사적 추세를 반영한 자연스러운 의존성 패턴이 확인되었다.
• 2D 잠재 공간 시각화에서 10×10 샘플을 사용한 결과, VAE-ROC는 표준 VAE보다 더 매끄럽고 구조적인 만곡선을 포착했다.
• GCVAE는 잠재 공간 전반에 걸쳐 매끄럽게 변화하는 국소 의존성 구조를 성공적으로 모델링했으며, 이는 데이터 만곡선의 변화를 반영했다.
• 10개의 랜덤 초기화로 수행한 실험을 통해 GCVAE는 런 간 일관된 성능 향상을 보였고, 로그우도 추정의 분산이 낮았다.