[논문 리뷰] Longitudinal Variational Autoencoder

Siddharth Ramchandran, Gleb Tikhonov외 3명|arXiv (Cornell University)|2020. 06. 17.

Gaussian Processes and Bayesian Inference참고 문헌 13인용 수 4

한 줄 요약

이 논문은 종단적 데이터에서 결측치가 있는 경우 구조적이고 저차원의 표현을 학습하기 위해 다중 출력 덧셈형 가우시안 프로세스 사전분포를 사용하는 장기적 변분 오토인코더(L-VAE)를 제안한다. 더 날카운 가우시안 프로세스 사전분포와 함께 더 낮은 KL 발산 상한을 유도하고 미니배치 SGD 학습을 가능하게 함으로써, L-VAE는 공통 및 개인별 시간적 동역학을 모두 포착하며, 최대 80%의 결측치가 있는 합성 및 임상 데이터셋에서 데이터 보간, 재구성, 장기 예측 측면에서 최신 기법들을 능가한다.

ABSTRACT

Longitudinal datasets measured repeatedly over time from individual subjects, arise in many biomedical, psychological, social, and other studies. A common approach to analyse high-dimensional data that contains missing values is to learn a low-dimensional representation using variational autoencoders (VAEs). However, standard VAEs assume that the learnt representations are i.i.d., and fail to capture the correlations between the data samples. We propose the Longitudinal VAE (L-VAE), that uses a multi-output additive Gaussian process (GP) prior to extend the VAE's capability to learn structured low-dimensional representations imposed by auxiliary covariate information, and derive a new KL divergence upper bound for such GPs. Our approach can simultaneously accommodate both time-varying shared and random effects, produce structured low-dimensional representations, disentangle effects of individual covariates or their interactions, and achieve highly accurate predictive performance. We compare our model against previous methods on synthetic as well as clinical datasets, and demonstrate the state-of-the-art performance in data imputation, reconstruction, and long-term prediction tasks.

연구 동기 및 목표

• 표준 VAE가 종단적 데이터셋에서 시간적 상관관계와 개인별 동역학을 포착하는 데에 한계가 있음을 해결하기 위해.
• 덧셈형 가우시안 프로세스 사전분포를 사용하여 구조적 잠재 공간에 대한 확장 가능하고 효율적인 추론 방법을 개발하기 위해.
• 잠재 공간에서 개별 공변량 효과와 그 상호작용을 분리할 수 있도록 하기 위해.
• 고차원 종단적 데이터에서 데이터 보간, 재구성, 장기 예측 성능을 향상시키기 위해.
• 시간 외에도 연령, 성별, 임상 지표와 같은 보조 공변량을 포함하는 생성 모델을 제공하기 위해.

제안 방법

• L-VAE는 잠재 공간 내의 구조적 의존성을 모델링하기 위해 다중 출력 덧셈형 가우시안 프로세스(GP) 사전분포를 사용하며, 공통 및 개인별 시간적 동역학을 모두 포착한다.
• 근사 사후분포와 GP 사전분포 사이의 KL 발산에 대해 새로운 더 날카운 상한을 유도함으로써 변분 추론의 안정성과 정확도를 향상시킨다.
• 덧셈형 GP 공분산 함수의 구조를 활용하여 미니배치 확률적 경사하강법(SGD) 학습을 가능하게 하여 대규모 데이터셋에 대한 확장성을 향상시킨다.
• 모델은 연령, 성별, 사건 발생까지의 시간과 같은 보조 공변량에 조건을 두고 시간에 따라 부드럽게 변화하는 저차원 잠재 표현을 함께 학습한다.
• 백프로파게이션을 통한 엔드 투 엔드 학습을 지원하며, 디코더는 잠재 코드로부터 관측된 데이터를 재구성하고, 인코더는 사후분포를 추론한다.
• 생성 모델에서 계산된 마진 통계량을 활용하여 후행 작업인 사망 예측을 위한 베이즈 분류기가 사용된다.

실험 결과

연구 질문

• RQ1 보조 공변량 정보를 통합함으로써 변분 오토인코더가 종단적 데이터에서 결측치가 있는 경우 시간적 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 덧셈형 GP 사전분포를 사용할 경우 표준 VAE에 비해 더 날카운 더 효율적인 변분 추론 상한을 얻을 수 있는가?
• RQ3 모델은 높은 재구성 및 예측 정확도를 유지하면서도 잠재 공간에서 개별 공변량의 영향과 상호작용을 분리할 수 있는가?
• RQ4 실제 임상 데이터셋에서 높은 결측률을 보이는 경우 L-VAE는 데이터 보간, 재구성, 장기 예측 측면에서 최신 기법들과 비교해 어떻게 성능을 냈는가?
• RQ5 이전의 GP 기반 VAE가 전체 에포크 학습이 필요로 하였던 것과 달리, L-VAE는 미니배치 SGD를 통해 대규모 종단적 데이터셋에 효율적으로 스케일링할 수 있는가?

주요 결과

• 80%의 결측치가 있는 PhysioNet Challenge 2012 데이터셋에서 L-VAE는 입원 중 사망 예측에 대해 AUROC 0.888을 기록하여 GP-VAE, BRITS, GRUI-GAN을 모두 능가했다.
• 잠재 차원 수가 32일 때, L-VAE는 재구성 과제에서 평균 제곱오차(MSE) 0.025 ± 0.0015를 기록하여 GPPVAE(0.057 ± 0.003)와 VRNN(0.049 ± 0.004)를 모두 능가했다.
• 복잡한 시간적 동역학과 개인별 패턴을 포착하는 데서 특히 뛰어난 성능을 보이며 장기 예측 및 데이터 보간 측면에서 우수한 성능을 나타냈다.
• 유도된 KL 발산 상한은 Titsias(2009)의 자유형 변분 상한보다 이론적으로 더 날카로워 변분 추론의 품질을 향상시켰다.
• 구조적 덧셈형 GP 사전분포 덕분에 미니배치 SGD 학습이 성공적으로 가능해졌으며, 이는 GPPVAE 및 GP-VAE가 전체 에포크 학습이 필요로 하던 것과는 달리 대규모 데이터셋에 효율적으로 스케일링할 수 있도록 했다.
• L-VAE는 연령, 성별, 사망까지의 시간과 같은 보조 공변량의 영향을 효과적으로 분리하여 해석 가능하고 정확한 후행 분류를 가능하게 했다.