[논문 리뷰] Unbiased Implicit Variational Inference

Michalis K. Titsias, Francisco J. R. Ruiz|arXiv (Cornell University)|2018. 08. 06.

Domain Adaptation and Few-Shot Learning인용 수 25

한 줄 요약

이 논문은 깊이 있는 신경망을 통해 구성된 암묵적 변분 분포를 사용하여 증거 하한값(ELBO)의 직접적이고 편향 없는 최적화를 가능하게 하는 Unbiased Implicit Variational Inference(uivi)를 제안한다. 이전의 밀도 비율 추정 또는 대체 경계에 의존하는 방법들과는 달리, uivi는 잠재 변수에 대한 재정의 가능한 조건부 분포를 사용하여 몬테 카를로 샘플링을 통한 효율적이고 편향 없는 기울기 추정이 가능하며, 유사한 계산 비용으로 sivi와 표준 VAE보다 더 날카운 ELBO와 더 나은 예측 성능을 달성한다.

ABSTRACT

We develop unbiased implicit variational inference (UIVI), a method that expands the applicability of variational inference by defining an expressive variational family. UIVI considers an implicit variational distribution obtained in a hierarchical manner using a simple reparameterizable distribution whose variational parameters are defined by arbitrarily flexible deep neural networks. Unlike previous works, UIVI directly optimizes the evidence lower bound (ELBO) rather than an approximation to the ELBO. We demonstrate UIVI on several models, including Bayesian multinomial logistic regression and variational autoencoders, and show that UIVI achieves both tighter ELBO and better predictive performance than existing approaches at a similar computational cost.

연구 동기 및 목표

• 기존의 암묵적 변분 추론 방법이 약간의 근사 또는 밀도 비율 추정에 의존하는 한계를 극복하기 위해.
• 복잡한 암묵적 변분 가족을 가진 모델에서 증거 하한값(ELBO)의 직접 최적화를 가능하게 하기 위해.
• 계층적 재정의 및 효율적인 MCMC 샘플링을 사용하여 ELBO 최적화를 위한 확장 가능하고 편향 없는 기울기 추정기 개발하기 위해.
• 베이지안 회귀 분석 및 변분 오토인코더와 같은 모델에서 ELBO의 날카움과 예측 성능을 모두 향상시키기 위해.

제안 방법

• uivi는 재정의 가능한 조건부 분포 $ q_{\theta}(z|\varepsilon) $ 와 유연한 노이즈 분포 $ q(\varepsilon) $ 를 혼합하여 반암묵적 변분 분포를 정의한다. 여기서 $ \theta $ 는 $ \varepsilon $ 를 $ q_{\theta}(z|\varepsilon) $ 의 매개변수로 매핑하는 깊이 있는 신경망이다.
• 이 방법은 ELBO 기울기를 $ q_{\theta}(\varepsilon|z) $ 에 대한 기대값으로 표현하여, 밀도 비율 추정 없이도 편향 없는 몬테 카를로 기울기 추정이 가능하게 한다.
• 정적 분포에서 시작하여 버너 인(phase)을 피하기 위해, 조건부 분포 $ q_{\theta}(\varepsilon|z) $ 에서 샘플링을 위한 빠른 마르코프 체인 몬테 카를로(MCMC) 절차를 사용한다.
• 샘플링된 데이터 $ q_{\theta}(z|\varepsilon) $ 와 $ q_{\theta}(\varepsilon|z) $ 를 기반으로 기울기 추정기를 구성하여, 확률적 경사상승법을 통해 ELBO의 편향 없는 최적화가 가능하다.
• 반복적인 밀도 비율 추정을 피하기 위해 재정의 기법을 활용함으로써 계산 효율성을 유지한다.
• 공통된 아키텍처와 학습 설정을 사용하여 베이지안 다항 로지스틱 회귀와 변분 오토인코더(VAE)에 적용하여 공정한 비교를 수행한다.

실험 결과

연구 질문

• RQ1 밀도 비율 추정에 의존하지 않고도 암묵적 변분 추론에서 ELBO의 편향 없는 최적화를 달성할 수 있는가?
• RQ2 깊이 있는 신경망을 사용한 계층적 재정의 체계는 더 표현력 있고 다재다능한 변분 가족을 제공하면서도 편향 없는 기울기 추정을 가능하게 할 수 있는가?
• RQ3 편향 없는 기울기를 통한 직접적인 ELBO 최적화가 sivi에서 사용하는 대체 경계와 비교해 더 날카운 경계와 향상된 예측 성능을 제공하는가?
• RQ4 제안된 방법은 ELBO와 테스트 로그우도 측면에서 표준 VAE와 sivi를 능가하면서도 계산 비용을 유지할 수 있는가?

주요 결과

• uivi는 MNIST에서 -94.09, Fashion-MNIST에서 -110.72의 테스트 로그우도를 달성하여 sivi(-97.77 및 -121.53)와 표준 VAE를 뛰어넘었다.
• uivi 하에서 ELBO 값은 sivi와 표준 VAE보다 더 날카로워서 진짜 사후분포에 대한 더 나은 근사치를 제공함을 시사한다.
• uivi는 sivi와 유사한 계산 비용을 유지하며, MNIST에서 평균 0.14초, Fashion-MNIST에서 0.13초의 반복 시간을 기록했고, sivi의 0.16초 및 0.17초와 비교해 유사한 성능을 보였다.
• uivi의 복원 결과는 MNIST 및 Fashion-MNIST의 정성적 결과를 통해 sivi와 표준 VAE보다 더 높은 정밀도를 보였다.
• ELBO 기울기를 기대값으로 표현함으로써 이론적으로 밀도 비율 추정이 필요 없게 되었으며, $ q_{\theta}(\varepsilon|z) $ 에서 MCMC 샘플링을 통해 편향 없는 추정이 가능해졌다.
• uivi는 다양한 모델에서 ELBO와 예측 성능 양면에서 일관된 향상을 보이며, 복잡한 베이지안 추론 환경에서의 효과성을 입증했다.