[논문 리뷰] Semi-Implicit Variational Inference

Mingzhang Yin, Mingyuan Zhou|arXiv (Cornell University)|2018. 05. 28.

Gaussian Processes and Bayesian Inference참고 문헌 47인용 수 27

한 줄 요약

Semi-Implicit Variational Inference (SIVI)는 분석적 변분 분포와 재정렬 가능한 암묵적 혼합 분포를 조합하는 유연한 변분 추론 프레임워크를 제안한다. 이는 분석적 밀도 함수가 필요 없이 매우 표현력 있는 사후 근사 분포를 가능하게 하며, 확률적 경량 최적화를 위한 渐近적으로 정확한 대체 ELBO를 유도한다. 이로 인해 다양한 베이지안 추론 과제에서 MCMC 수준의 정확도를 달성한다.

ABSTRACT

Semi-implicit variational inference (SIVI) is introduced to expand the commonly used analytic variational distribution family, by mixing the variational parameter with a flexible distribution. This mixing distribution can assume any density function, explicit or not, as long as independent random samples can be generated via reparameterization. Not only does SIVI expand the variational family to incorporate highly flexible variational distributions, including implicit ones that have no analytic density functions, but also sandwiches the evidence lower bound (ELBO) between a lower bound and an upper bound, and further derives an asymptotically exact surrogate ELBO that is amenable to optimization via stochastic gradient ascent. With a substantially expanded variational family and a novel optimization algorithm, SIVI is shown to closely match the accuracy of MCMC in inferring the posterior in a variety of Bayesian inference tasks.

연구 동기 및 목표

• 제한된 변분 가족 표현력으로 인해 평균-장 변분 추론이 사후 분산을 과소평가하는 데 기인한 한계를 해결하기 위해.
• 밀도 비율 추정에 의존하지 않고도 암묵적, 비분석 밀도 분포를 변분 추론에 활용할 수 있도록 하기 위해.
• 복잡한 변분 가족에 대한 처리 가능한 최적화 절차를 개발하기 위해, ELBO를 두 개의 경계로 끼워넣고 대체 목표 함수를 도출하기 위해.
• 변분 추론과 MCMC 사이의 정확도 격차를 사후 불확실성 정량화 측면에서 해소하기 위해.
• 복잡하고 다중모달적이거나 비대칭적인 사후 분포를 가진 모델로의 변분 추론 적용 범위를 확장하기 위해.

제안 방법

• 변분 매개변수 ψ가 표현력 있고 재정렬 가능한 혼합 분포 q(ψ)에서 추출된 랜덤 변수로 간주되는 반응형 히에라르키컬 구조를 도입한다.
• 기본 변분 분포 q(z|ψ)는 분석적 PDF를 가지며, 혼합 분포 q(ψ)는 암묵적일 수 있지만, 독립적인 재정렬 가능한 샘플링을 지원하는 한 된다.
• 하나의 하향 및 상향 경계로 끼워진 ELBO를 유도하여, 히에라르키컬 모델에서의 샘플링을 통한 증거 하한의 몬테카를로 추정이 가능하도록 한다.
• 확률적 경량 상승에 적합한 渐近적으로 정확한 대체 ELBO를 제안하여, 밀도 비율 추정이 필요 없도록 한다.
• 첫 번째 레이어가 분석적이고 이후 레이어가 암묵적인 다중 스토케스틱 레이어를 추가함으로써, 평균-장 VI와 VAEs에 이 프레임워크를 적용한다.
• 히에라르키컬 인코더의 조건부 분포를 파arameter화하기 위해 신경망을 사용하여, 민감하고 암시적 추론이 가능한 구조를 허용한다.

실험 결과

연구 질문

• RQ1 반응형 히에라르키컬 구조는 표현력 있는 변분 근사 분포를 가능하게 하면서도 처리 가능한 최적화를 유지할 수 있는가?
• RQ2 반응형 구조 하에서 몬테카를로 샘플링을 통해 ELBO가 충분한 정확도로 경계가 지정되고 근사화될 수 있는가?
• RQ3 SIVI는 공액성 또는 명시적 밀도 함수가 필요 없이 MCMC 수준의 사후 정확도를 달성할 수 있는가?
• RQ4 SIVI는 복잡하고 다중모달적이거나 비대칭적인 사후 분포를 가진 모델에서 사후 불확실성 정량화를 향상시킬 수 있는가?
• RQ5 실제 베이지안 추론 과제에서 SIVI는 표준 VI와 MCMC에 비해 어떻게 성능을 발휘하는가?

주요 결과

• SIVI는 베이지안 로지스틱 회귀에서 MCMC 수준의 사후 정확도를 달성하며, 표준 VI와 변분 부스팅에 비해 불확실성 정량화에서 뛰어난 성능을 보였다.
• 반응형 VAE(SIVAE)에서는 중요도 재가중 기법을 사용해 이진화된 MNIST에서 음의 로그 우도를 83.25로 달성했으며, 단일 스토케스틱 레이어 인코더를 가진 표준 VAE를 능가했다.
• SIVI의 대체 ELBO는 渐近적으로 정확하여, 밀도 비율 추정 없이도 확률적 경량 상승을 통한 신뢰할 수 있는 최적화가 가능하다.
• SIVI는 평균-장 VI에서 사후 의존성을 성공적으로 포착하였으며, 이는 마진 분포는 조건부 독립이지만, 마진에서 의존성이 있음을 의미한다.
• 유의미한 확률적 변분 네트워크를 통해 추론된 후, 사후 샘플을 실시간으로 생성할 수 있는 빠른 i.i.d. 사후 샘플링을 지원한다.
• SIVI는 명시적 밀도 평가가 필요 없이 정규화 플로우 유사한 구조와 암묵적 분포를 조합함으로써 VAE에서 최첨단 성능을 보였다.