[논문 리뷰] Variational Auto-Decoder: A Method for Neural Generative Modeling from Incomplete Data

Amir Zadeh, Yao-Chong Lim외 2명|arXiv (Cornell University)|2019. 03. 03.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 완전하지 않은 데이터로부터 강건한 생성 모델링을 위한 새로운 변분 베이즈 방법인 변분 오토디코더(VAD)를 소개한다. VAD는 직접적인 입력 조건부 추론을 회피하고 기울기 기반 추론을 통해 사후 분포의 파라미터를 최적화함으로써 변동성이 큰 입력에 의존하지 않는다. VAD는 높은 누락 비율과 분포 이탈 상황에서도 VAE 및 GAN 기반 모델보다 뛰어난 재구성 가능도를 달성하며, 누락 비율이 증가할수록 성능 격차가 더욱 벌어진다.

ABSTRACT

Learning a generative model from partial data (data with missingness) is a challenging area of machine learning research. We study a specific implementation of the Auto-Encoding Variational Bayes (AEVB) algorithm, named in this paper as a Variational Auto-Decoder (VAD). VAD is a generic framework which uses Variational Bayes and Markov Chain Monte Carlo (MCMC) methods to learn a generative model from partial data. The main distinction between VAD and Variational Auto-Encoder (VAE) is the encoder component, as VAD does not have one. Using a proposed efficient inference method from a multivariate Gaussian approximate posterior, VAD models allow inference to be performed via simple gradient ascent rather than MCMC sampling from a probabilistic decoder. This technique reduces the inference computational cost, allows for using more complex optimization techniques during latent space inference (which are shown to be crucial due to a high degree of freedom in the VAD latent space), and keeps the framework simple to implement. Through extensive experiments over several datasets and different missing ratios, we show that encoders cannot efficiently marginalize the input volatility caused by imputed missing values. We study multimodal datasets in this paper, which is a particular area of impact for VAD models.

연구 동기 및 목표

• 입력 데이터에 누락 값이 존재할 경우 변분 베이즈에서 근사 사후 추론을 수행하는 데 발생하는 과제를 해결하기 위해.
• 누락된 입력이나 열악한 입력에 기반해 조건부 설정되는 표준 VAE 및 GAN의 한계를 극복하여, 높은 누락 비율 상황에서 성능 저하를 방지하기 위해.
• 학습 데이터와 테스트 데이터 간의 누락 패턴이 다를 경우에도 사실상 ELBo(하한 경계 증거)를 효과적으로 최대화할 수 있는 방법을 개발하기 위해.
• 예를 들어 테스트 시점에서 누락 비율이 갑작스럽게 변화하는 등의 분포 이탈에 대해 강건성을 확보하기 위해.
• 모델 기반의 누락 보정에 의존하지 않는, 확장 가능한 기울기 기반의 파arametric 인코더 기반 추론의 대안을 제공하기 위해.

제안 방법

• VAD는 기존의 파arametric 인코더를 사용하지 않고, 변분 베이즈 프레임워크 내에서 기울기 기반 최적화를 통해 알려진 사후 분포의 파라미터를 직접 최적화함으로써 사후 근사 분포를 수립한다.
• 잠재 공간에서 입력 공간으로의 사상이 학습 가능한 주요 구성 요소로 간주되며, 이로 인해 입력 조건부 추론 네트워크의 필요성이 제거된다.
• 사후 파라미터는 기울기 상승을 통해 ELBo를 최적화하며, 불완전한 데이터를 처리하기 위해 스위치 백프로파게이션을 사용한다.
• 모델은 완전한 진짜 데이터에서의 가능도를 계산할 수 있도록 기울기 가능 재구성 목표 함수를 활용한다. 이는 입력이 부분적으로 관측되었을 경우에도 적용 가능하다.
• 누락은 이진 마스크 $\alpha \in \{0,1\}^d$ 를 통해 모델링되며, 0은 누락, 1은 관측된 값을 의미한다. 모델은 $x = \alpha \odot \hat{x}$ 로부터 $\hat{x}$ 를 재구성하도록 학습한다.
• 프레임워크는 기울기 기반의 종단 간 최적화를 통해 엔드 투 엔드로 훈련되며, ELBo가 목적 함수로 사용된다. 추론은 최적화된 사후 분포로부터 샘플링을 통해 수행된다.

실험 결과

연구 질문

• RQ1 기입된 입력 데이터에 직접 조건부 설정하지 않고도 변분 추론 프레임워크가 강건한 사후 근사를 달성할 수 있는가?
• RQ2 VAD의 성능은 누락 데이터 비율이 증가함에 따라 VAE 및 GAN 기반 방법과 비교해 어떻게 되는가?
• RQ3 학습 시점과 테스트 시점의 누락 패턴이 다를 경우, VAD는 높은 재구성 가능도를 유지하는가?
• RQ4 VAD, VAE, GAN 모델은 추론 시점에서 누락 비율이 갑작스럽게 변화하는 등의 분포 이탈에 얼마나 민감한가?
• RQ5 변동성이 큰 입력 상황에서 기울기 기반의 사후 파라미터 최적화가 파arametric 인코더 기반 추론을 능가할 수 있는가?

주요 결과

• VAD는 VAE 및 GAN 기반 모델보다 유의미하게 높은 재구성 가능도를 달성하며, 특히 극단적인 누락 상황(예: r = 0.9)에서 성능 격차가 더욱 벌어진다.
• VAE 및 GAN과 달리, VAD는 추론 시 다양한 누락 비율 상황에서도 일관된 성능을 유지하며, 테스트 시점의 누락 비율이 학습 시점과 다를 경우에도 마찬가지다.
• 학습 시점에 완전한 데이터로 학습하고 테스트 시점에 누락된 데이터를 사용하는 상황에서, VAD는 성능 저하가 거의 없이 안정성을 유지하지만, VAE 및 GAIN은 특히 높은 누락 비율에서 심각한 성능 저하를 보인다.
• 학습 시점에 누락된 데이터로 학습하고 테스트 시점에 완전한 데이터로 테스트하는 상황에서, VAD는 높은 강건성과 안정성을 유지하지만, VAE 및 GAN의 성능은 학습 시 누락 비율 증가에 따라 심각하게 저하된다.
• Fashion-MNIST에 대한 민감도 분석 결과, VAD는 다양한 조합의 학습 및 테스트 누락 비율 상황에서도 높은 가능도를 유지하지만, VAE 및 GAN은 대각선 외부(즉, 비율이 다를 경우)에서는 성능이 붕괴된다.
• Fashion-MNIST의 인painting 시각 비교 결과, VAD는 특히 블록 기반 누락 패턴과 높은 누락 비율 상황에서 VAE 및 GAN보다 더 정확하고 일관성 있는 재구성을 생성한다.