[논문 리뷰] tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder

Alex Campbell, Píetro Lió|arXiv (Cornell University)|2020. 06. 08.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 6

한 줄 요약

이 논문은 다차원 잠재 공간 내 상관 구조를 명시적으로 모델링하기 위해 표준 단변량 정규 prior를 텐서형태의 가우시안 프로세스로 대체하는 tvGP-VAE를 제안한다. 텐서 모드에 대한 커널 함수를 활용함으로써 tvGP-VAE는 시공간 영상 데이터에서 복원 성능을 향상시키며, 특히 공간 상관 구조 모델링이 테스트된 구성 중에서 가장 우수한 성능을 기록한다.

ABSTRACT

Variational autoencoders (VAEs) are a powerful class of deep generative latent variable model for unsupervised representation learning on high-dimensional data. To ensure computational tractability, VAEs are often implemented with a univariate standard Gaussian prior and a mean-field Gaussian variational posterior distribution. This results in a vector-valued latent variables that are agnostic to the original data structure which might be highly correlated across and within multiple dimensions. We propose a tensor-variate extension to the VAE framework, the tensor-variate Gaussian process prior variational autoencoder (tvGP-VAE), which replaces the standard univariate Gaussian prior and posterior distributions with tensor-variate Gaussian processes. The tvGP-VAE is able to explicitly model correlation structures via the use of kernel functions over the dimensions of tensor-valued latent variables. Using spatiotemporally correlated image time series as an example, we show that the choice of which correlation structures to explicitly represent in the latent space has a significant impact on model performance in terms of reconstruction.

연구 동기 및 목표

• 고차원 텐서 데이터의 다차원적 구조적 상관 관계를 모델링하는 데에 표준 VAE의 한계를 해결하기 위해.
• 잠재 공간 내에서 공간적, 시간적 또는 시공간적 상관 관계 구조를 명시적으로 인코딩하여 비지도 표현 학습을 향상시키기 위해.
• 텐서형 가우시안 프로세스를 위한 크로네커 분리 가능 커널을 사용하여 계산적으로 타당하고 메모리 효율적인 딥 생성 모델을 개발하기 위해.
• 다차원 데이터 내 복잡한 상관 패턴을 포착하는 데에 텐서형 잠재 변수가 벡터형 잠재 변수보다 우수한가를 조사하기 위해.
• 다양한 상관 구조 가정(공간적, 시간적, 시공간적)이 VAE의 복원 품질에 미치는 영향을 평가하기 위해.

제안 방법

• VAE에서 표준 단변량 정규 prior와 평균장 가우시안 사후분포를 텐서형 잠재 변수에 대한 텐서형 가우시안 프로세스로 대체한다.
• 잠재 공간 내 다중 모드(예: 공간 행, 열, 시간) 간의 상관 관계를 모델링하기 위해 크로네커 분리 가능 커널 함수를 사용한다.
• 텐서 곱의 구조를 유지함으로써 계산 효율성을 확보하면서도, 암시적 스토케스틱 변분 추론을 사용하여 엔드 투 엔드 학습을 수행한다.
• 영상 시계열 데이터로부터 계층적 특징을 추출하기 위해 인코더에서 2차원 공간 컨벌루션을 적용한 후 1차원 시간 컨벌루션을 수행한다.
• 잠재 표현에서 입력 데이터를 복원하기 위해 디코더에서 역전치 컨벌루션을 사용하며, 모드별 상관 구조를 반영한다.
• 커널 길이 척도를 튜닝하고, 완전히 연결된 레이어에서 배치 정규화와 ReLU 활성화 함수를 사용하여 안정적인 학습을 유도한다.

실험 결과

연구 질문

• RQ1 잠재 공간 내 상관 구조를 명시적으로 모델링하면 VAE의 복원 성능이 향상되는가?
• RQ2 다양한 상관 구조(공간적, 시간적, 시공간적)는 영상 시계열 데이터의 복원 품질에 어떤 영향을 미치는가?
• RQ3 텐서형 가우시안 프로세스가 계산적 타당성을 유지하면서 VAE 프레임워크에 효율적으로 통합될 수 있는가?
• RQ4 커널 함수의 선택과 길이 척도 파라미터의 영향은 모델 성능에 어떤 영향을 미치는가?
• RQ5 tvGP-VAE는 입력 데이터의 구조를 더 잘 포착함으로써 사후 분포 붕괴를 완화하는가?

주요 결과

• 공간 상관 구조를 명시적으로 모델링한 tvGP-VAE는 Sprites 테스트 세트에서 90,578 ± 6.2의 최저 복원 손실을 기록하여 표준 VAE 및 다른 tvGP-VAE 변종보다 뛰어난 성능을 보였다.
• 시간 상관 구조만을 명시적으로 모델링한 모델은 복원 손실 90,587 ± 11.3을 기록했으며, 공간 전용 모델보다 약간 열 劣했지만 표준 VAE보다는 우수했다.
• 시공간 tvGP-VAE는 모든 상관 관계를 모델링할 수 있는 능력을 지녔음에도 불구하고 복원 손실 90,616 ± 3.8로 가장 열 劣했으며, 이는 과적합 또는 하이퍼파rameter 최적화가 부적절했을 가능성을 시사한다.
• 시각적 복원 결과에서는 공간 tvGP-VAE가 가장 많은 세부 정보를 포착한 반면, 시공간 변종은 움직이는 영역에서 더 높은 불확실성을 보였다.
• 시공간 모델에서 커널 길이 척도 파라미터의 증가한 분산은 잠재 차원당 추가로 3개의 하이퍼파rameter를 도입하여 복잡성과 튜닝의 난이도를 증가시켰다.
• 결과적으로, 가장 관련성이 높은 상관 구조(예: 공간적)만을 모델링하는 것이 모든 차원을 동시에 모델링하는 것보다 더 우수한 성능을 낳는다는 것이 확인되었다.