[논문 리뷰] Rejection Sampling Variational Inference

Christian A. Naesseth, Francisco J. R. Ruiz외 2명|arXiv (Cornell University)|2016. 10. 18.

Gaussian Processes and Bayesian Inference참고 문헌 32인용 수 4

한 줄 요약

이 논문은 수용-기각 샘플링 기반의 분포(예: 감마 분포 및 디리클레 분포)와 함께 작동하는 새로운 재매개변수화 기울기 방법을 제안한다. 이는 기각 단계를 미분 가능한 프레임워크에 통합함으로써 구현된다. 저분산 기울기 추정을 가능하게 함으로써, 기존 방법에 비해 확률적 기울기 기반 재귀 추론에서 더 빠른 수렴을 달성한다.

ABSTRACT

Variational inference using the reparameterization trick has enabled large-scale approximate Bayesian inference in complex probabilistic models, leveraging stochastic optimization to sidestep intractable expectations. The reparameterization trick is applicable when we can simulate a random variable by applying a differentiable deterministic function on an auxiliary random variable whose distribution is fixed. For many distributions of interest (such as the gamma or Dirichlet), simulation of random variables relies on acceptance-rejection sampling. The discontinuity introduced by the accept-reject step means that standard reparameterization tricks are not applicable. We propose a new method that lets us leverage reparameterization gradients even when variables are outputs of a acceptance-rejection sampling algorithm. Our approach enables reparameterization on a larger class of variational distributions. In several studies of real and synthetic data, we show that the variance of the estimator of the gradient is significantly lower than other state-of-the-art methods. This leads to faster convergence of stochastic gradient variational inference.

연구 동기 및 목표

• 표준 재매개변수화 기울기 방법이 감마 분포 및 디리클레 분포와 같이 기각-수용 샘플링이 필요한 분포에서 제한을 갖는 문제를 해결하기 위해.
• 기각 단계를 미분 가능하게 하여, 더 넓은 범위의 분포에 대해 변분 추론에서 확률적 최적화를 가능하게 하기 위해.
• 기존 방법에 비해 기울기 추정기의 분산을 줄여, 확률적 기울기 기반 변분 추론에서 수렴 속도를 가속화하기 위해.
• 닫힌 형태의 역누적분포함수(CDF)가 필요하지 않은, 기각 샘플링과 재매개변수화 기울기 기법을 통합하는 일반적인 프레임워크를 개발하기 위해.

제안 방법

• 기각-수락 결정을 연속적이고 미분 가능한 과정으로 모델링하는, 미분 가능한 재매개변수화 기법을 도입한다. 이는 기각 지표의 연속적 리프레젠테이션을 활용한다.
• 역변환 방법을 완화된 형태로 활용하며, 기각 단계는 수용 확률의 연속적 리프레젠테이션을 통해 매개변수화된다.
• 수용 지표의 연속적 리프레젠테이션을 사용하여 기각 샘플링 과정을 통해 역전파가 가능하게 하며, 기울기 계산을 가능하게 한다.
• 기각 샘플링의 계산 효율성을 유지하면서도, 재매개변수화를 통한 기울기 기반 최적화를 가능하게 한다.
• 보조 변수와 수용 결정을 함께 재매개변수화 트릭을 적용하여, 전체 샘플링 과정을 미분 가능한 변환으로 간주한다.

실험 결과

연구 질문

• RQ1 감마 분포 및 디리클레 분포와 같이 기각-기각 샘플링이 필요한 분포로 재매개변수화 기울기를 확장할 수 있는가?
• RQ2 기각-수락 단계를 어떻게 미분 가능하게 만들 수 있으며, 이를 통해 변분 추론에서 기울기 기반 최적화를 가능하게 할 수 있는가?
• RQ3 제안된 방법이 복잡한 모델에서 기존 방법에 비해 저분산 기울기 추정기를 제공하는가?
• RQ4 이 방법은 실제 데이터 및 시뮬레이션 데이터에서 확률적 기울기 기반 변분 추론의 수렴 속도를 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 이전에 표준 재매개변수화 기법으로는 비가역적이었던 분포, 예를 들어 감마 분포 및 디리클레 분포에 대해서도 재매개변수화 기울기를 가능하게 한다.
• 기울기 추정기의 분산이 최첨단 기법보다 크게 낮아져, 확률적 최적화에서 더 빠른 수렴을 이룬다.
• 실제 및 시뮬레이션 데이터에 대한 실험 결과는 변분 추론의 수렴 속도와 안정성 향상에서 일관된 개선을 보였다.
• 이러한 성과는 닫힌 형태의 역누적분포함수(CDF)가 필요하지 않으며, 기존 기각 샘플링 메커니즘을 수정하지 않아도 달성된다.