[논문 리뷰] Learning to Draw Samples with Amortized Stein Variational Gradient Descent

Yihao Feng, Dilin Wang외 1명|arXiv (Cornell University)|2017. 07. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 29

한 줄 요약

이 논문은 비정규화된 밀도 평가와 기울기 질의만을 사용하여 복잡한 목표 분포에서 표본을 생성할 수 있도록 학습하는 스토하스틱 신경망을 위한 암시적 스틸 변분 경사하강법(aSVGD)을 소개한다. 반복적으로 네트워크 파라미터를 스틸 변분 경사 방향에 따라 조정함으로써, 추론 네트워크의 명시적 밀도 계산이 필요 없이 효율적이고 블랙박스 표본 추출이 가능해지며, 변분 오토인코더에서 표본 품질을 크게 향상시키고 MCMC 초모수 학습을 적응적으로 가능하게 한다.

ABSTRACT

We propose a simple algorithm to train stochastic neural networks to draw samples from given target distributions for probabilistic inference. Our method is based on iteratively adjusting the neural network parameters so that the output changes along a Stein variational gradient direction (Liu & Wang, 2016) that maximally decreases the KL divergence with the target distribution. Our method works for any target distribution specified by their unnormalized density function, and can train any black-box architectures that are differentiable in terms of the parameters we want to adapt. We demonstrate our method with a number of applications, including variational autoencoder (VAE) with expressive encoders to model complex latent space structures, and hyper-parameter learning of MCMC samplers that allows Bayesian inference to adaptively improve itself when seeing more data.

연구 동기 및 목표

• 목표 분포의 비정규화된 밀도만으로도 주어진 임의의 목표 분포에서 표본을 추출할 수 있는 일반적이고 미분 가능한 방법을 개발하는 것.
• 기존 변분 추론과 MCMC의 한계를 해결하기 위해, 추론 네트워크의 명시적 밀도 계산이 필요 없이 종단간(end-to-end), 암시적 학습을 가능하게 하는 표본 추출 정책 학습을 제공하는 것.
• 온라인 학습, 개인화된 예측, 잠재변수 모델링 등 반복적인 표본 추출 요구가 있는 환경에서 효율적이고 확장 가능하며 적응적인 확률적 추론을 가능하게 하는 것.
• 변분 오토인코더에서 표현력 있는 잠재 표현과 다중모달 사후 분포를 학습하는 데서의 방법의 효과성을 입증하는 것.

제안 방법

• 목표 분포와의 KL 발산을 최소화하기 위해 스틸 변분 경사 방향을 따라 네트워크 파라미터를 조정하는 프로젝션 기반의 기울기 유사 알고리즘인 암시적 SVGD(aSVGD)를 제안한다.
• 스틸 변분 경사하강법에서 기능적 기울기를 근사하기 위해 입자(표본)의 집합을 사용하여, 제안 분포에 대한 비모수적 가정이 없는 비모수 최적화를 가능하게 한다.
• 재구성 기법과 몬테카를로 기울기 추정을 활용하여, 출력 밀도가 계산이 불가능한 경우에도 스토하스틱 신경망을 통해 역전파를 수행한다.
• 다중 이진 베르누이 드롭아웃 노이즈를 도입하여 VAE에서 표현력 있는 인코더를 학습함으로써, 다중모달 사후 분포 근사가 가능하도록 한다.
• 실험에서 비편향 로그우도 추정과 효과적 표본 크기(Ess) 평가를 위해 하미튼 안내 중요도 샘플링(HAIS)을 사용한다.
• 추론 네트워크를 명시적 밀도 계산이 필요 없는 백박스 기반의 미분 가능한 시뮬레이터로 간주하며, 입력 표본과 파라미터 기울기 외에는 출력 분포의 명시적 밀도가 필요하지 않다.

실험 결과

연구 질문

• RQ1 추론 네트워크의 명시적 밀도 계산이 필요 없이, 비정규화된 목표 분포에서 고품질의 표본을 생성할 수 있는 스토하스틱 신경망을 학습시킬 수 있는가?
• RQ2 유사한 구조를 가진 분포들 간에 일반화 가능한 암시적이고 종단간 표본 추출 정책 학습을 어떻게 가능하게 할 수 있는가?
• RQ3 구조적 노이즈를 통해 다중모달 잠재 표현을 가능하게 함으로써, aSVGD가 변분 오토인코더에서 사후 분포 근사 품질을 향상시킬 수 있는가?
• RQ4 추론 네트워크가 더 많은 데이터를 통해 스스로 개선할 수 있도록 허용함으로써, aSVGD가 MCMC 샘플러에서 적응형 초모수 학습을 가능하게 하는가?

주요 결과

• ESteinVAE-f는 이진화된 MNIST에서 테스트 음의 로그우도를 88.85 nats로 기록하여, VAE-f(90.32 nats)를 능가하며 더 높은 생성 품질을 입증하였다.
• ESteinVAE-CNN는 테스트 NLL이 84.31 nats로, VAE-CNN(84.68 nats)와 EVAE-CNN(84.43 nats)를 약간 앞서며, 효과적 표본 크기(Ess)가 86.57로 85.50보다 높게 나타났다.
• 결손 데이터 복원에서 ESteinVAE-CNN는 정확도 84%와 엔트로피 0.501을 기록하여, EVAE-CNN(82%, 0.382)과 VAE-CNN(83%, 0.340)를 능가하며 더 다양하고 정확한 복원 결과를 보였다.
• 시각적 결과에서는 ESteinVAE-CNN가 모호성 상황에서도 다양한 복원 결과를 생성하는 반면, VAE-CNN와 EVAE-CNN는 너무 확신 있는 대각행렬 공분산 사후 분포로 인해 국소 최적점에 갇히는 경향을 보였다.
• 증가하는 데이터에 따라 신경 샘플러가 스스로 개선할 수 있도록 허용함으로써, aSVGD는 적응형 MCMC 초모수 학습을 가능하게 하여 자기 향상 가능한 베이지안 추론를 지원한다.
• HAIS 추정치의 효과적 표본 크기는 각 방법 간 유사했으며, 이는 NLL 차이가 추정 편향 때문이 아니라 모델 품질 향상의 진정한 반영임을 확인한다.