[논문 리뷰] Sparse Gaussian Process Variational Autoencoders

Matthew Ashman, Jonathan So외 4명|arXiv (Cornell University)|2020. 10. 20.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 다중 출력 희소 가우시안 프로세스를 변분 오토에인코더와 통합한 깊이 있는 생성 모델인 희소 가우시안 프로세스 변분 오토에인코더(SGP-VAE)를 소개한다. 이 모델은 추론 네트워크를 사용하여 다중 출력 희소 GP에 대한 효율적이고 암시적 추론을 가능하게 하며, 부분 추론 네트워크를 통해 결측 데이터 처리도 지원한다. 이는 복잡한 상관관계를 가진 대규모 다차원 시공간 데이터셋을 모델링하는 데 기존 방법들을 능가한다.

ABSTRACT

Large, multi-dimensional spatio-temporal datasets are omnipresent in modern science and engineering. An effective framework for handling such data are Gaussian process deep generative models (GP-DGMs), which employ GP priors over the latent variables of DGMs. Existing approaches for performing inference in GP-DGMs do not support sparse GP approximations based on inducing points, which are essential for the computational efficiency of GPs, nor do they handle missing data -- a natural occurrence in many spatio-temporal datasets -- in a principled manner. We address these shortcomings with the development of the sparse Gaussian process variational autoencoder (SGP-VAE), characterised by the use of partial inference networks for parameterising sparse GP approximations. Leveraging the benefits of amortised variational inference, the SGP-VAE enables inference in multi-output sparse GPs on previously unobserved data with no additional training. The SGP-VAE is evaluated in a variety of experiments where it outperforms alternative approaches including multi-output GPs and structured VAEs.

연구 동기 및 목표

• 기존 GP-DGM에서 희소 GP 근사와 체계적인 결측 데이터 처리 지원의 부족을 해결하기 위해.
• 이전에 관측되지 않은 데이터에 대해 다중 출력 희소 GP에 대한 효율적이고 암시적 추론을 가능하게 하기 위해.
• 대규모 시공간 데이터를 위한 딥 생성 모델과 가우시안 프로세스의 강점을 통합한 통합 프레임워크를 개발하기 위해.
• 계산적 확장성을 유지하면서도 다차원 출력에서의 구조적 의존성과 유연한 가능도를 지원하기 위해.

제안 방법

• 유도 점을 통해 다중 출력 희소 GP 근사를 매개변수화하는 추론 네트워크를 사용하는 SGP-VAE를 제안한다.
• 관측된 출력에만 조건을 두는 방식으로 결측 데이터를 처리하기 위해 PointNet, IndexNet, FactorNet 등의 부분 추론 네트워크를 활용한다.
• 암시적 변분 추론을 활용하여 재학습 없이도 새로운 데이터에 대해 빠르고 일반화 능력 있는 추론을 가능하게 한다.
• 유연한 가능도를 갖춘 복잡한 다차원 출력을 모델링하기 위해 디코더에서 인라인 가능도를 인라인화한다.
• 공유되는 유도 점 위치를 잠재 차원과 작업 간에 초기화하기 위해 k-means 클러스터링을 적용한다.
• 인코더, 디코더, 추론 네트워크를 매개변수화하기 위해 ReLU 또는 tanh 활성화 함수를 갖는 딥 신경망을 사용한다.

실험 결과

연구 질문

• RQ1 희소 GP 근사는 변분 오토에인코더에 효과적으로 통합되어 대규모 다차원 시공간 데이터셋에 스케일링될 수 있는가?
• RQ2 딥 생성 모델에 GP 사전분포가 있는 경우, 체계적이고 확장 가능한 방식으로 결측 데이터를 처리할 수 있는가?
• RQ3 제안된 SGP-VAE는 실제 시공간 데이터에서 다중 출력 GPs와 구조적 VAE보다 더 뛰어난 예측 성능을 달성하는가?
• RQ4 SGP-VAE의 암시적 추론은 추가 학습 없이도 이전에 관측되지 않은 데이터에 일반화될 수 있는가?

주요 결과

• SGP-VAE는 빨간 공과 기상 관측소 데이터셋에서 기준 다중 출력 GPs와 구조적 VAE보다 예측 성능에서 뛰어난 성능을 보였다.
• 기상 관측소 데이터셋에서 일부 변수에 93.2%의 결측 데이터가 존재하는 상황에서도 SGP-VAE는 다른 모델들보다 낮은 평균 제곱근 오차(RMSE)와 음의 로그가능도(NLL)를 달성했다.
• 모델는 강력한 일반화 능력을 보였으며, 암시적 추론을 통해 이전에 관측되지 않은 데이터에 대해 정확한 추론을 가능하게 하였다.
• 부분 추론 네트워크(PointNet, IndexNet, FactorNet)는 결측 데이터를 효과적으로 처리하였으며, 특히 고비율 결측 상황에서 FactorNet이 뛰어난 강건성을 보였다.
• SGP-VAE는 단일 잠재 차원만을 사용하여도 빨간 공 작업에서 최신 기술 수준의 성능을 달성했으며, 실제 궤도를 거의 정확하게 복원하였다.