[논문 리뷰] Undirected Graphical Models as Approximate Posteriors

Arash Vahdat, Evgeny Andriyash외 1명|arXiv (Cornell University)|2019. 01. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 45인용 수 5

한 줄 요약

이 논문은 변분 오토에인코더(VAE) 내에서 근사 사후분포로 사용되는 무방향 그래픽 모델(UGM), 특히 볼츠만 기계를 학습할 수 있도록 허용하는 새로운 기울기 추정 방법을 제안한다. 마르코프 체인 몬테카를로(MCMC) 업데이트를 통해 역전파를 수행함으로써 저분산 기울기를 달성하며, 이는 UGM 기반 사후분포가 이산 VAE에서 기존의 유도 모델보다 우수한 성능을 보임을 시사한다. 이는 MNIST 및 OMNIGLOT 데이터셋에서 생성 성능 향상을 이룬다.

ABSTRACT

The representation of the approximate posterior is a critical aspect of effective variational autoencoders (VAEs). Poor choices for the approximate posterior have a detrimental impact on the generative performance of VAEs due to the mismatch with the true posterior. We extend the class of posterior models that may be learned by using undirected graphical models. We develop an efficient method to train undirected approximate posteriors by showing that the gradient of the training objective with respect to the parameters of the undirected posterior can be computed by backpropagation through Markov chain Monte Carlo updates. We apply these gradient estimators for training discrete VAEs with Boltzmann machines as approximate posteriors and demonstrate that undirected models outperform previous results obtained using directed graphical models. Our implementation is available at https://github.com/QuadrantAI/dvaess .

연구 동기 및 목표

• 변분 오토에인코더(VAE) 내에서 무방향 그래픽 모델(UGM)을 근사 사후분포로 학습하기 위한 효과적인 기울기 추정 방법의 부족을 해결하기 위해.
• 대규모 VAE 학습에서 UGM을 사후분포로 사용할 경우 발생하는 분할 함수의 비가역성과 비용이 큰 샘플링 문제를 극복하기 위해.
• 더 유연한 UGM(예: 볼츠만 기계)으로 유도 사후분포 모델을 대체하여 이산 VAE의 표현력과 생성 품질을 향상시키기 위해.
• 스토케스틱 최적화에 적합한 미분 가능 MCMC 기반 기울기 추정기 개발을 통해 UGM을 활용한 암시적 추론을 가능하게 하기 위해.

제안 방법

• 무방향 그래픽 모델(UGM) 사후분포에 적용된 마르코프 체인 몬테카를로(MCMC) 과정에서 단일 단계의 지브스 샘플링을 통해 기울기를 역전파하는 기울기 추정기를 제안한다.
• 분할 함수의 비가역성과 UGM 내에서의 정규화가 불가능한 점을 고려하여 MCMC 업데이트 내에서 재파arameterized 샘플링을 사용함으로써 기울기 계산이 가능하도록 한다.
• 제한된 볼츠만 기계(RBM)를 이산 VAE(DVAE##) 내 근사 사후분포로 학습하기 위해 이 방법을 적용함으로써, 역전파를 통한 엔드 투 엔드 학습을 가능하게 한다.
• 계산 비용과 기울기 분산의 균형을 맞추기 위해 각 학습 단계에서 단일 MCMC 업데이트를 사용함으로써 안정적인 최적화를 달성한다.
• UGM(예: RBM)의 조건부 독립 구조를 활용하여 지브스 샘플링 단계를 통해 효율적인 역전파를 가능하게 한다.
• 다양한 설정에서 성능 평가를 위해 중요도 가중 평균 자동에인코더(IWAE)와 구조적 예측 벤치마크를 활용한다.

실험 결과

연구 질문

• RQ1 무방향 그래픽 모델은 MCMC를 통한 역전파를 통해 변분 오토에인코더 내 근사 사후분포로 효과적으로 학습될 수 있는가?
• RQ2 이산 VAE에서 볼츠만 기계를 근사 사후분포로 사용할 경우, 유도 모델 대비 생성 성능이 향상되는가?
• RQ3 단일 MCMC 업데이트로도 UGM 사후분포를 VAE 프레임워크 내에서 학습하기에 충분한 저분산 기울기 추정기가 제공되는가?
• RQ4 기본 DVAE 대비 UGM 기반 사후분포의 로그우도와 재구성 품질 측면에서 벤치마크 데이터셋에서의 성능 비교는 어떻게 되는가?
• RQ5 제안된 방법은 구조적 예측 과제로 확장 가능하며, 이전 방법 대비 성능 향상을 유지할 수 있는가?

주요 결과

• RBM 사후분포를 사용하는 DVAE## 모델은 MNIST에서 테스트 로그우도 -82.97 nats를 기록하며, 이전에 유도 사후분포를 사용한 방법들을 초월한다.
• OMNIGLOT에서는 DVAE## 모델이 테스트 로그우도 -98.34 nats를 기록하며, 기준 DVAE 대비 뛰어난 생성 성능을 입증한다.
• 표준 VAE와 중요도 가중 VAE(IWAE) 모두에서 일관된 향상이 관찰되었으며, MNIST 및 OMNIGLOT에서 몇 nats의 성능 향상이 이루어졌다.
• 실험 결과, UGM 사후분포는 평균장 및 자기회귀 사후분포보다 더 표현력이 뛰어나며, 유도 모델이 잘 모델링하지 못하는 복잡한 사후 구조를 포착함을 보였다.
• 단일 MCMC 업데이트 기반 기울기 추정기는 편향이 존재하지만 저분산이며 안정적인 수렴을 보여, 학습에 충분한 기울기 품질을 제공함을 확인했다.
• 기존 모델(GumBolt, DVAE#)을 제안된 프레임워크를 사용해 재현한 결과 성능 향상이 이루어졌으며, 이는 방법의 일반화 가능성에 대한 근거를 제공한다.