[논문 리뷰] A Variational Autoencoder for Heterogeneous Temporal and Longitudinal Data

Mine Öğretir, Siddharth Ramchandran외 2명|arXiv (Cornell University)|2022. 04. 20.

Machine Learning in Healthcare인용 수 4

한 줄 요약

이 논문은 다중 출력 덧셈형 가우시안 프로세스 사전분포와 융통성 있는 가능도 모델을 사용하여 연속형, 카운트형, 범주형, 순서형 종단적 데이터를 동시에 모델링하는 깊이 있는 생성 모델인 이질적 종단적 변분 오토인코더(HL-VAE)를 제안한다. 이 모델은 결측치 보정과 미관측 시점 예측을 위한 효율적이고 종단 간 추론을 가능하게 하며, 시뮬레이션된 데이터와 임상 데이터셋에서 기존 방법들보다 보다 뛰어난 성능을 보였다.

ABSTRACT

The variational autoencoder (VAE) is a popular deep latent variable model used to analyse high-dimensional datasets by learning a low-dimensional latent representation of the data. It simultaneously learns a generative model and an inference network to perform approximate posterior inference. Recently proposed extensions to VAEs that can handle temporal and longitudinal data have applications in healthcare, behavioural modelling, and predictive maintenance. However, these extensions do not account for heterogeneous data (i.e., data comprising of continuous and discrete attributes), which is common in many real-life applications. In this work, we propose the heterogeneous longitudinal VAE (HL-VAE) that extends the existing temporal and longitudinal VAEs to heterogeneous data. HL-VAE provides efficient inference for high-dimensional datasets and includes likelihood models for continuous, count, categorical, and ordinal data while accounting for missing observations. We demonstrate our model's efficacy through simulated as well as clinical datasets, and show that our proposed model achieves competitive performance in missing value imputation and predictive accuracy.

연구 동기 및 목표

• 기존 변분 오토인코더가 종단적 환경에서 연속형, 카운트형, 범주형, 순서형 변수와 같은 이질적 데이터 유형을 동시에 처리할 수 없는 점을 보완하기 위해.
• 시간대와 피험자 간의 시간적 상관관계를 고려하면서도, 완전 무작위로 결측된 데이터를 처리할 수 있는 모델을 개발하기 위해.
• 다양한 데이터 유형과 보조 공변량(예: 시간, 피험자별 요인)을 포함한 고차원 실세계 데이터셋에 대해 효율적인 추론을 가능하게 하기 위해.
• 다양한 데이터 유형에 적절한 가능도 모델을 할당하는 것이 결측치 보정 및 예측 작업 성능 향상에 크게 기여함을 입증하기 위해.

제안 방법

• HL-VAE는 시간과 피험자 간 잠재 변수의 구조적 동역학을 모델링하기 위해 다중 출력 덧셈형 가우시안 프로세스 사전분포를 사용하며, 잠재 표현 간 상관관계를 포착한다.
• 각 데이터 유형에 맞는 별도의 가능도 모델을 사용하는 딥 네ural 네트워크 기반 디코더를 적용한다: 연속형 데이터에는 가우시안 가능도, 카운트형 데이터에는 포아송 가능도, 이산형 데이터에는 범주형 로짓 가능도, 순서형 데이터에는 순서형 로짓 가능도를 사용한다.
• 추론 네트워크는 스토하스틱 경사 하강법를 사용하여 잠재 변수의 사후분포를 근사하는 암시적 변분 추론을 수행한다.
• 가우시안 프로세스 사전분포를 통해 보조 공변량(예: 시간, 성별, 질병 상태)을 잠재 공간에 통합함으로써 조건부 생성과 향상된 표현 학습을 가능하게 한다.
• 학습 및 추론 중에 관측되지 않은 값에 대해 가능도 함수에 따라 주변화함으로써 결측 데이터를 지원한다.
• 역전파를 통한 종단 간 훈련을 지원하여 고차원 데이터셋에서 스케일러블한 학습이 가능하다.

실험 결과

연구 질문

• RQ1 변분 오토인코더가 연속형, 카운트형, 범주형, 순서형 데이터를 혼합한 이질적 종단적 데이터를 효과적으로 모델링하면서도 결측치를 처리할 수 있는가?
• RQ2 다양한 데이터 유형에 적절한 가능도 모델을 포함할 경우 종단적 환경에서의 결측치 보정 및 예측 성능에 어떤 영향을 미치는가?
• RQ3 다중 출력 덧셈형 가우시안 프로세스 사전분포를 사용할 경우 독립적인 잠재 표현에 비해 시간적 및 피험자 간 상관관계를 더 잘 모델링할 수 있는가?
• RQ4 실제 임상 데이터에서 기존 VAE 및 기준 모델에 비해 HL-VAE가 결측치 보정 및 장기 예측에서 얼마나 뛰어난 성능을 보이는가?
• RQ5 결측치 비율과 데이터의 이질성이 증가함에 따라 모델의 성능은 어떻게 변화하는가?

주요 결과

• PPMI 데이터셋에서 50%의 결측치가 존재하는 조건에서, HL-VAE는 수치 예측에 대해 정규화된 평균 제곱근 오차(NRMSE) 0.091 ± 0.003을 기록했으며, L-VAE보다 높은 오차와 더 빠른 성능 저하를 보였다.
• 범주형 데이터의 경우, HL-VAE는 정확도 오차 0.085 ± 0.001을 달성하여 경쟁 모델보다 유의미하게 뛰어난 성능을 보였다. 이는 범주형 변수를 명시적으로 모델링하는 데서 비롯된 이점임을 시사한다.
• 순서형 예측에서는 HL-VAE가 이동 오차(displacement error) 0.085 ± 0.001을 기록하여 기준 모델 대비 뛰어난 안정성과 정확도를 확보했다.
• 결측치 비율 증가에 따라도 성능이 안정적으로 유지되었으며, L-VAE 대비 예측 로그가능도 감소 속도가 더 느려 데이터 부족 상황에서도 더 나은 일반화 능력을 보였다.
• 훈련 과정에 범주형 특징을 포함시킴으로써 수치형 특징의 예측 성능이 향상되었으며, 이는 이질적 데이터의 통합 모델링의 유용성을 입증한다.
• HL-VAE는 시뮬레이션된 데이터와 실제 임상 데이터셋 모두에서 결측치 보정 및 장기 예측 작업에서 경쟁적인 성능을 기록했으며, 모든 데이터 유형에서 최고의 결과를 달성했다.