[논문 리뷰] VAEM: a Deep Generative Model for Heterogeneous Mixed Type Data

Chao Ma, Sebastian Tschiatschek외 3명|arXiv (Cornell University)|2020. 06. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 13

한 줄 요약

VAEM은 이질적인 혼합형 데이터(예: 범주형, 순서형, 연속형 특성)를 위한 두 단계의 딥 생성 모델로, 먼저 각 차원의 고유한 분포를 정규화하기 위해 차원별 VAE를 학습한 후, 이러한 잠재 표현 간의 종속성을 모델링한다. 기존 VAE 및 기준 모델 대비 데이터 생성, 결측치 보간, 순차적 특성 선택에서 뛰어난 성능을 발휘한다.

ABSTRACT

Deep generative models often perform poorly in real-world applications due to the heterogeneity of natural data sets. Heterogeneity arises from data containing different types of features (categorical, ordinal, continuous, etc.) and features of the same type having different marginal distributions. We propose an extension of variational autoencoders (VAEs) called VAEM to handle such heterogeneous data. VAEM is a deep generative model that is trained in a two stage manner such that the first stage provides a more uniform representation of the data to the second stage, thereby sidestepping the problems caused by heterogeneous data. We provide extensions of VAEM to handle partially observed data, and demonstrate its performance in data generation, missing data prediction and sequential feature selection tasks. Our results show that VAEM broadens the range of real-world applications where deep generative models can be successfully deployed.

연구 동기 및 목표

• 이질적인 특성 유형(범주형, 순서형, 연속형)을 가진 실세계 데이터셋에서 표준 VAE의 열악한 성능을 해결한다.
• 다양한 유형의 특성에서 기여도가 상이한 우도 함수로 인한 최적화 과제를 극복한다.
• 이질적인 특성 간에 더 균일한 잠재 표현을 학습시켜 데이터 생성 및 결측치 보간 성능을 향상시킨다.
• 부분적으로 관측된 환경에서 조건부 생성을 통해 효과적인 순차적 활성 정보 확보를 가능하게 한다.
• VAEM을 결측치 처리 및 조건부 생성을 지원하도록 확장하여 실세계 의사결정 환경에서의 실용적 구현을 강화한다.

제안 방법

• 두 단계 아키텍처 제안: 먼저 각 데이터 차원에 대해 독립적인 일변도 VAE(마진벌 VAE)를 훈련시어 각 특성의 마진벌 분포를 모델링한다.
• 마진벌 VAE의 잠재 코드를 두 번째 단계 VAE의 입력으로 사용하여 다차원 간 종속성을 포착한다.
• 특성 유형별로 별도의 우도 함수를 적용한 암시적 변분 추론을 적용한다(예: 연속형 특성에 대해 정규분포, 이진형 특성에 대해 베르누이분포, 순서형 특성에 대해 다항분포).
• 각 특성 유형 간 균형 임계값을 적용하여 변분 하한(ELBO)을 최적화함으로써 고분산 우도의 지배를 방지한다.
• 부분 관측된 관측치로부터 잠재 코드를 추론하고 결측치를 재구성하기 위해 인코더를 활용하여 결측치 처리를 위한 VAEM 확장.
• 조건부 생성에서 정보량 증가를 최대화하는 특성들을 반복적으로 선택함으로써 순차적 특성 선택 알고리즘 유도.

실험 결과

연구 질문

• RQ1 표준 VAE 대비 두 단계 VAE 아키텍처가 이질적인 혼합형 데이터의 모델링에 있어 향상되는가?
• RQ2 마진벌 분포가 크게 다를 경우에도 VAEM은 다양한 특성 유형에서 현실적인 샘플을 생성하는 데 효과적인가?
• RQ3 기준 VAE 및 그 변종 대비 VAEM은 결측치 보간 정확도를 어느 정도 향상시키는가?
• RQ4 부분 관측된 데이터 환경에서 VAEM은 순차적 활성 정보 확보에 효과적으로 활용될 수 있는가?
• RQ5 두 단계 설계는 종단간 VAE 대비 더 나은 사후 분포 근사 및 낮은 KL 발산을 이끌어내는가?

주요 결과

• VAEM은 다섯 개의 실세계 데이터셋에서 표준 VAE 및 기준 모델 대비 데이터 생성 성능에서 뛰어나, 가장 낮은 음의 로그우도(NLL) 기록.
• 은행 데이터셋에서 VAEM은 0.111 ± 0.00의 보간 오차 기록으로 VAE(0.116) 및 VAE-balanced(0.117)보다 유의미하게 낮았으며, 평균 순위는 1.00을 기록.
• 아보카도 데이터셋에서 VAEM은 0.145 ± 0.00의 최저 보간 오차 기록으로 VAE-extended(0.145) 및 VAE-HI(0.146)를 초월.
• VAEM의 마진벌 VAE는 ELBO 및 로그우도 값이 거의 동일함(예: -1.30 vs. -1.30)을 보이며, 낮은 KL 발산과 함께 높은 품질의 사후 근사가 이루어짐.
• VAEM은 쌍별 플롯을 통해 다양한 특성 유형 간의 정확한 밀도 패턴을 반영한 샘플을 생성하여 마진벌 분포와 쌍별 종속성을 정확히 포착함.
• 보간 성능 평균 순위에서 VAEM은 모든 데이터셋에서 1.00을 기록하여 기준 모델 대비 일관된 우수성을 입증함.