[논문 리뷰] Missing Data Imputation and Acquisition with Deep Hierarchical Models and Hamiltonian Monte Carlo

Ignacio Peis, Chao Ma외 1명|arXiv (Cornell University)|2022. 02. 09.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 혼합형 불완전 데이터를 위한 심층 계층적 VAE인 HH-VAEM을 제안하며, 가우시안 변분 기반 보다 더 뛰어난 보정 및 능동 학습 성능을 보이게 한다. 계층적 잠재 구조와 HMC 샘플링, 자동 초파rameter 조정을 결합함으로써 HH-VAEM은 더 낮은 사후 근사 편향과 더 나은 성능을 달성하여 결측 데이터 보정, 지도 학습, 순차적 특성 수집에서 뛰어난 성능을 발휘한다.

ABSTRACT

Variational Autoencoders (VAEs) have recently been highly successful at imputing and acquiring heterogeneous missing data. However, within this specific application domain, existing VAE methods are restricted by using only one layer of latent variables and strictly Gaussian posterior approximations. To address these limitations, we present HH-VAEM, a Hierarchical VAE model for mixed-type incomplete data that uses Hamiltonian Monte Carlo with automatic hyper-parameter tuning for improved approximate inference. Our experiments show that HH-VAEM outperforms existing baselines in the tasks of missing data imputation and supervised learning with missing features. Finally, we also present a sampling-based approach for efficiently computing the information gain when missing features are to be acquired with HH-VAEM. Our experiments show that this sampling-based approach is superior to alternatives based on Gaussian approximations.

연구 동기 및 목표

• 제한된 일중 잠재 구조와 가우시안 사후 근사 근사 방식을 사용하는 기존 VAE의 단점을 해결한다.
• 가우시안 변분 추론을 해밀토니안 몬테 카를로(HMC) 샘플링으로 대체하여 계층적 VAE의 추론 편향을 줄인다.
• 가우시안 기반 대안보다 더 정확하게 정보 양을 추정하는 샘플링 기반 방법을 개발하여 능동적 정보 획득을 수행한다.
• 결측 데이터 보정, 결측 특성이 있는 지도 학습, 순차적 능동 특성 획득에서 향상된 성능을 입증한다.

제안 방법

• 혼합형 데이터의 복잡한 의존성을 모델링하기 위해 다중 레이어 잠재 변수를 가진 계층적 VAE인 HH-VAEM을 제안한다.
• 표준 암시적 변분 추론을 대체하기 위해 자동 초파rameter 조정을 적용한 해밀토니안 몬테 카를로(HMC)를 사용하여 진정한 사후 분포에서 저편향 샘플을 생성한다.
• 히스토그램을 사용하여 가우시안 가정 없이 정보 양을 계산함으로써, 상호정보량을 추정하기 위한 샘플링 기반 전략을 구현한다.
• 각 특성 유형별로 개별적인 VAE를 구성하고 상호 특성 간 관계를 모델링하기 위한 의존성 VAE를 추가함으로써 혼합형 데이터 유형을 효과적으로 처리할 수 있도록 디코더를 분해한다.
• HMC에서 유도된 사후 샘플을 사용하여 관측되지 않은 특성의 로그우도를 몬테 카를로 근사로 보정함으로써 데이터 보정을 수행한다.
• HMC 기반 사후 근사와 함께 ELBO 목적함수를 사용하여 모델을 엔드 투 엔드로 훈련함으로써 결측 데이터에 대한 강력한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 HMC 추론을 사용하는 계층적 VAE가 혼합형 데이터셋에서 기존 VAE 및 가우시안 변분 기반 보다 결측 데이터 보정에서 뛰어난 성능을 보일 수 있는가?
• RQ2 가우시안 사후 근사 대신 HMC 샘플링을 사용함으로써 계층적 VAE의 추론 편향이 감소하고 예측 성능이 향상되는가?
• RQ3 능동 학습에서 정보 양 추정을 위한 샘플링 기반 접근법이 가우시안 기반 근사 대비 순차적 특성 획득에서 더 나은 성능을 보일 수 있는가?
• RQ4 특성들이 랜덤으로 결측된 경우, HH-VAEM은 기존 보다 뛰어난 성능을 보이는가?
• RQ5 계층적 구조는 이미지 인painting 작업에서 표현 학습과 보정 품질을 얼마나 향상시키는가?

주요 결과

• HH-VAEM은 10개의 UCI 데이터셋과 MNIST에서 모든 기준 보다 뛰어난 성능을 보이며, 음의 로그우도 측면에서 일관된 향상을 보였다.
• 결측 특성이 있는 지도 학습에서 HH-VAEM은 모든 평가된 데이터셋에서 모든 기준보다 낮은 예측 음의 로그우도를 기록하여 일반화 성능 향상을 입증하였다.
• HH-VAEM을 사용한 샘플링 기반 능동 정보 획득 방법은 UCI 데이터셋의 SAIA 곡선을 통해 가우시안 기반 대비 더 빠른 수렴과 낮은 오차율을 보였다.
• MNIST와 CelebA에서의 질적 이미지 인painting 결과는 HH-VAE(HMC 기반 변종)가 일중 가우시안 또는 HMC 기반 모델보다 더 정확하고 일관성 있는 복원을 제공함을 보여주었다.
• 계층적 구조와 HMC 추론의 조합은 특히 혼합형 데이터와 결측치가 많은 복잡한 데이터에서 뚜렷한 성능 향상을 이끌어내었으며, 정량적·정성적 결과로 이를 입증하였다.
• HH-VAEM에서 HMC 기반 추론은 가우시안 변분 추론 대비 사후 근사 편향을 감소시켜 더 신뢰할 수 있는 불확실성 추정과 더 나은 후속 작업 성능을 가능하게 하였다.