[논문 리뷰] Variational Rejection Sampling

Aditya Grover, Ramki Gummadi외 3명|arXiv (Cornell University)|2018. 04. 05.

Gaussian Processes and Bayesian Inference참고 문헌 30인용 수 3

한 줄 요약

이 논문은 변분 추론을 향상시키기 위해 변분 사후에서 낮은 가능도의 샘플을 걸러내는 가분산 수용-기각 테스트를 적용하는 Variational Rejection Sampling (VRS)를 소개한다. 계산량을 늘림으로써 통계적 정확도를 높임으로써 VRS는 최신 기준을 초월하는 성능을 달성하였으며, 시그모이드 신뢰망을 사용한 이진화된 MNIST에서 단일 샘플 기준선 대비 3.71 nats, 다중 샘플 방법 대비 0.21 nats의 테스트 음의 로그가능도를 감소시켰다.

ABSTRACT

Learning latent variable models with stochastic variational inference is challenging when the approximate posterior is far from the true posterior, due to high variance in the gradient estimates. We propose a novel rejection sampling step that discards samples from the variational posterior which are assigned low likelihoods by the model. Our approach provides an arbitrarily accurate approximation of the true posterior at the expense of extra computation. Using a new gradient estimator for the resulting unnormalized proposal distribution, we achieve average improvements of 3.71 nats and 0.21 nats over state-of-the-art single-sample and multi-sample alternatives respectively for estimating marginal log-likelihoods using sigmoid belief networks on the MNIST dataset.

연구 동기 및 목표

• 변분 사후가 진짜 사후를 잘 근사하지 못할 경우, 확률적 변분 추론에서 고분산 기울기 추정 문제를 해결하기 위해.
• 명시적 재파arameterization이나 복잡한 모델 변경 없이도 사후 근사 품질을 향상시키는 방법을 개발하기 위해.
• 사후 근사에서 계산 비용과 통계적 정확도 사이의 민감한 트레이드오프를 가능하게 하기 위해.
• 재표본화된 제안 분포가 정규화되지 않은 상태임에도 불구하고 모수에 대한 편향 없는 기울기 추정기를 유도하기 위해.
• 기존의 단일 샘플 및 다중 샘플 변분 추론 방법들에 비해 벤치마크 생성 모델링 과제에서 뛰어난 성능을 실증적으로 보여주기 위해.

제안 방법

• 두 단계 샘플링 프로세스를 도입: 먼저 변분 사후에서 샘플을 추출하고, 그 다음 모델의 가능도 기반으로 가분산 수용-기각 테스트를 적용한다.
• 기각률을 제어하기 위해 임계값 파라미터 γ를 사용하며, 이는 표준 변분 추론(γ → 1)에서 정확한 사후 샘플링(γ → 0)으로의 극한에서의 보간을 가능하게 한다.
• 재표본화된 제안 분포의 비정규화된 밀도 추정치만을 사용하여, 명시적 정규화 없이도 모수에 대한 편향 없는 기울기 추정기를 도출한다.
• 재표본화된 제안 분포 Rθ,φ는 원래의 변분 사후를 암묵적으로 수정하여 진짜 사후를 더 잘 근사하도록 한다.
• 하한을 평가하기 위해 중요도 샘플링(IS)과 재표본화 기반 추정기(RS)를 적용하며, RS는 향상된 성능을 보였다.
• 증거 하한(lower bound, ELBO) 평가에 중요도 샘플링과 재표본화 기반 평가를 모두 지원하며, 후자는 분할 함수의 몬테카를로 추정치를 사용한다.

실험 결과

연구 질문

• RQ1 가분산 수용-기각 메커니즘이 잠재변수 모델에서 변분 사후 근사 품질을 향상시킬 수 있는가?
• RQ2 제안된 방법이 기존의 단일 샘플 및 다중 샘플 변분 추론 접근법보다 더 나은 주변 로그가능도 추정을 달성하는가?
• RQ3 이 방법이 사후 근사에서 계산 비용과 통계적 정확도 사이의 부드러운 트레이드오프를 제공할 수 있는가?
• RQ4 수용-기각 샘플링으로 인해 제안 분포가 정규화되지 않았을 때도 모수에 대한 편향 없는 기울기 추정기를 도출하는 것이 가능한가?
• RQ5 이진화된 MNIST와 같은 표준 벤치마크에서 VRS는 NVIL, REBAR, VIMCO와 같은 최신 기준 방법들보다 성능이 뛰어나게 되는가?

주요 결과

• 이진화된 MNIST에서 VRS는 최신 단일 샘플 기준선 대비 평균적으로 3.71 nats의 테스트 음의 로그가능도 감소를 기록했다.
• VRS는 다중 샘플 기준선 대비 평균적으로 0.21 nats의 테스트 로그가능도 향상을 보였으며, k=50 기준선보다 더 적은 샘플 수를 사용함에도 불구하고 성능이 뛰어났다.
• 재표본화된(RS) 추정기는 중요도 샘플링된(IS) 추정기보다 항상 뛰어나며, 이는 재표본화 단계가 사후 근사 품질을 향상시킨다는 것을 시사한다.
• 임계값 파라미터 γ를 낮추면(예: 0.95에서 0.9로) 성능이 향상되지만 계산 비용이 증가하므로, 정확도와 비용 사이의 제어 가능한 트레이드오프가 확인되었다.
• γ=0.95와 γ=0.9일 때 VRS는 k=50인 다중 샘플 방법보다 더 뛰어난 성능을 보였으며, 이는 더 적은 수이지만 훨씬 품질이 높은 샘플이 많은 낮은 품질의 샘플보다 더 나은 성능을 낼 수 있음을 보여준다.
• 이진화된 MNIST의 시그모이드 신뢰망에서 VRS는 REBAR, Concrete, VIMCO를 포함한 기존의 출판된 기준선들을 모두 능가하는 최신 기준 성능을 달성했다.