[논문 리뷰] Learning Conditional Variational Autoencoders with Missing Covariates

Siddharth Ramchandran, Gleb Tikhonov외 3명|arXiv (Cornell University)|2022. 03. 02.

Machine Learning in Healthcare인용 수 4

한 줄 요약

이 논문은 조건부 변동 자동차오디터(conditional variational autoencoders, CVAEs)를 보조 공변량에서 결측치가 있는 경우에 훈련시키는 새로운 방법을 제안한다. 이는 결측 공변량에 대한 불확실성을 근사적으로 통합하면서 기초 증거 하한값(evidence lower bound, ELBO)을 최대화하는 암시적 변동 추론 프레임워크를 도입함으로써 이루어진다. 이 방법은 결측 공변량 데이터가 존재하는 비시간적, 시간적, 종단적 데이터셋에서 CVAEs와 GP-프리오르 VAEs의 효과적인 학습을 가능하게 하며, 보정 및 생성 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Conditional variational autoencoders (CVAEs) are versatile deep generative models that extend the standard VAE framework by conditioning the generative model with auxiliary covariates. The original CVAE model assumes that the data samples are independent, whereas more recent conditional VAE models, such as the Gaussian process (GP) prior VAEs, can account for complex correlation structures across all data samples. While several methods have been proposed to learn standard VAEs from partially observed datasets, these methods fall short for conditional VAEs. In this work, we propose a method to learn conditional VAEs from datasets in which auxiliary covariates can contain missing values as well. The proposed method augments the conditional VAEs with a prior distribution for the missing covariates and estimates their posterior using amortised variational inference. At training time, our method marginalises the uncertainty associated with the missing covariates while simultaneously maximising the evidence lower bound. We develop computationally efficient methods to learn CVAEs and GP prior VAEs that are compatible with mini-batching. Our experiments on simulated datasets as well as on a clinical trial study show that the proposed method outperforms previous methods in learning conditional VAEs from non-temporal, temporal, and longitudinal datasets.

연구 동기 및 목표

• 기존 방법이 처리하지 못하는 보조 공변량에 결측치가 포함된 조건부 VAE 학습의 격차를 해소하기 위해.
• 결측 공변량과 관측 데이터를 동시에 모델링하는 확률적 프레임워크를 개발하기 위해.
• 암시적 추론을 통해 결측 공변량이 있는 CVAEs와 GP-프리오르 VAEs의 효율적이고 미니배치 호환 훈련을 가능하게 하기 위해.
• 다양한 데이터 유형, 특히 종단적 및 임상 데이터셋에서 표현 학습과 데이터 보정 성능을 초우수하게 달성하기 위해.

제안 방법

• 잠재 변수와 결측 공변량에 대한 공동 변동 사후분포를 도입하여, 결측 데이터가 있는 상태에서도 엔드 투 엔드 훈련이 가능하도록 한다.
• 각 샘플에 대한 최적화를 피하기 위해, 결측 공변량에 대한 사후분포를 암시적 변동 추론으로 근사한다.
• 몬테카를로 근사를 통해 결측 공변량의 불확실성을 통합하면서 기초 증거 하한값(ELBO)을 최대화한다.
• GP-프리오르 VAEs의 경우, 가우시안 프로세스 프리오르를 포함하는 KL 발산 항목에 대해 계산적으로 효율적이고 미니배치 호환 가능한 근사를 유도한다.
• 결측 공변량 추정을 인코더-디코더 아키텍처에 통합하여 표현 학습과 보정을 함께 최적화할 수 있도록 한다.
• KL 발산 항목에 대한 새로운 비편향 추정기법을 유도하여, 환자 데이터를 근사적으로 분할함으로써 미니배치를 통한 안정적인 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 보조 공변량에 결측치가 포함된 경우에도 조건부 VAEs를 효과적으로 훈련시킬 수 있는가? 전체 관측을 전제로 하지 않고도 가능한가?
• RQ2 학습 중에 결측 공변량의 불확실성을 적절히 통합하여 모델의 일반화 성능을 향상시킬 수 있는가?
• RQ3 제안된 방법이 결측 공변량이 있는 부분 관측 데이터에서 기존의 VAE 기반 접근법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 특히 GP-프리오르 VAEs의 경우, 미니배치를 활용해 대규모 데이터셋에 대해 효율적으로 확장 가능한가?
• RQ5 비시간적, 시간적, 종단적 데이터에서 모델이 현실적인 샘플을 생성하고 결측치를 보정하는 데 얼마나 잘 성능을 내는가?

주요 결과

• 제안된 방법은 보조 공변량에 결측치가 있는 데이터셋에서 CVAEs와 GP-프리오르 VAEs의 학습 성능을 최신 기술 수준으로 끌어올렸으며, 생성 및 보정 작업 모두에서 기존 방법을 능가한다.
• 시뮬레이션된 시간적 숫자 데이터셋에서, 모델은 결측 공변량이 존재함에도 불구하고 기저의 생성 과정을 성공적으로 학습했으며, 기울인, 이동한, 대trast 조정된 숫자의 정확한 재구성과 생성을 수행했다.
• 출력 데이터에서 25.01%의 관측값이 존재하고 보조 공변량에 인위적으로 5%에서 40%의 결측치를 도입한 임상 시험 연구에서, 모델은 모든 결측 수준에서 뛰어난 성능을 보였다.
• KL 발산 항목에 대한 비편향 추정기법을 유도함으로써, 대규모 데이터에 대한 효율적 최적화를 가능하게 하여 안정적인 훈련을 달성했다.
• 특히 종단적 및 복잡한 상관관계를 가진 데이터에서, 결측치를 0으로 대체하거나 히우리스틱 보정을 사용하는 기준 VAEs보다 모델이 뚜렷이 뛰어난 성능을 보였다.
• 제거 실험을 통해, 결측 공변량에 대한 불확실성의 통합이 단순한 보정 전략보다 더 우수한 일반화 성능과 더 정확한 사후 추정을 이끌어낸다는 것이 확인되었다.