[논문 리뷰] Variational Autoencoder with Arbitrary Conditioning

О. А. Иванов, Michael Figurnov외 1명|arXiv (Cornell University)|2018. 06. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 67

한 줄 요약

본 논문은 임의의 관찰된 특징 부분집합에 조건을 걸고 남은 특징을 한 번에 샘플링할 수 있는 변분 오토인코더인 VAEAC를 소개하며, 실수값 및 범주형 데이터에 대해 누락 데이터 보완 및 영상 인페인팅을 가능하게 한다.

ABSTRACT

We propose a single neural probabilistic model based on variational autoencoder that can be conditioned on an arbitrary subset of observed features and then sample the remaining features in "one shot". The features may be both real-valued and categorical. Training of the model is performed by stochastic variational Bayes. The experimental evaluation on synthetic data, as well as feature imputation and image inpainting problems, shows the effectiveness of the proposed approach and diversity of the generated samples.

연구 동기 및 목표

• 임의의 마스크 b에 대해 p(x_b|x_{1-b}, b) 모든 조건부 분포를 학습하도록 VAE 프레임워크를 일반화한다.
• 단일 확률 모델 내에서 실수값 및 범주형 특징이 있는 데이터셋을 다룬다.
• 관찰된 특징을 바탕으로 관찰되지 않은 특징을 한 번에 샘플링하는 것을 가능하게 하며, 누락 데이터 시나리오를 포함한다.
• 특징 보완 및 이미지 인페인팅 작업에서 다양하고 현실적인 샘플을 보여주며 효과를 입증한다.

제안 방법

• 사전 네트워크 p_psi(z|x_{1-b}, b)와 생성 네트워크 p_theta(x_b|z, x_{1-b}, b)를 갖는 생성 과정을 정의한다.
• 모델 p_{psi,theta}(x_b|x_{1-b}, b)=E_{z~p_psi(z|x_{1-b},b)}[p_theta(x_b|z,x_{1-b},b)]를 사용한다.
• 신경망으로 매개변수화된 사전 분포 p_psi(z|x_{1-b}, b)를 갖는 가우시안 잠재 변수 z를 사용한다.
• z, x_{1-b}, b에 조건화된 x_b의 실수값 구성요소와 로짓을 통해 표현되는 범주형 구성요소를 매개변수화한다.
• VAE와 유사한 변분 하한 L_VAEAC를 도출하고, 인자로 분해된 가우시안 q_phi(z|x,b)와 재매개화를 사용해 최적화한다.
• 수치 발산을 방지하기 위해 사전 매개변수를 Normal-Gamma 사전으로 정규화한다.
• x에 대해 p(b|x)로 누락 특징 설정을 확장하고 재구성 항에서 누락 특징을 주변 분포로 적분한다.

실험 결과

연구 질문

• RQ1 모델이 임의의 조건 마스크 b에 대해 p(x_b|x_{1-b}, b) 전체 조건부 분포를 학습할 수 있는가?
• RQ2 다중 모드 시나리오에서 특히 실제 조건부 분포를 VAEAC가 얼마나 정확하게 근사하는가?
• RQ3 누락 특징 보완 및 이미지 인페인팅에서 VAEAC가 기존 방법들과 비교해 효과적인가?
• RQ4 품질 및 계산 효율성 측면에서 Universal Marginalizer와 GAN 기반 접근법과의 비교는 어떠한가?

주요 결과

• VAEAC은 MICE, MissForest, GAIN 등의 방법과 비교해 여러 UCI 데이터셋에서 누락 특징 보완 성능이 경쟁력이 있다.
• 모델은 MNIST, Omniglot, CelebA에서 다양하고 현실적인 이미지 인페인팅을 생성할 수 있으며, 여러 마스크에 대해 PSNR이 일부 최첨단 방법과 비슷하거나 우수하다.
• VAEAC는 한 번의 샘플링으로 조건부 분포에서 샘플링하는 단일 샷 방법으로, 일부 자동회귀 또는 최적화 기반 방법보다 테스트 시 속도가 빠르면서 샘플 다양성은 유지한다.
• Universal Marginalizer에 비해 VAEAC는 많은 로컬 옵티마나 실수형 데이터가 있는 경우 조건부 결합 분포를 더 잘 포착할 수 있으며 UM은 주변 분포를 근사하기 어려운 경우가 있다.
• 실험은 VAEAC이 결합 데이터 분포를 효과적으로 학습하고 다양한 작업에서 유용한 보완 및 인페인팅 결과를 낼 수 있음을 시사한다.