[논문 리뷰] Sampling Polya-Gamma random variates: alternate and approximate techniques

Jesse Windle, Nicholas G. Polson외 1명|arXiv (Cornell University)|2014. 05. 02.

Bayesian Methods and Mixture Models참고 문헌 15인용 수 18

한 줄 요약

이 논문은 $J^*(b,z)$ 분포에 대해 효율적인 샘플링 기법을 제안한다. 정수 $b \in [1,4]$에 대해 별도의 직접 샘플러를 도입하고, 큰 $b$에 대해서는 안장점 근사법을 제안한다. 수치 결과에 따르면, $n=3$에서 $10$ 사이에서는 별도의 샘플러가 표준 Devroye 방법보다 빠르며, $n \geq 13$에서는 안장점 방법이 가장 효율적이며, 기준 방법 대비 최대 6.78배의 속도 향상을 기록한다.

ABSTRACT

Efficiently sampling from the Pólya-Gamma distribution, ${PG}(b,z)$, is an essential element of Pólya-Gamma data augmentation. Polson et. al (2013) show how to efficiently sample from the ${PG}(1,z)$ distribution. We build two new samplers that offer improved performance when sampling from the ${PG}(b,z)$ distribution and $b$ is not unity.

연구 동기 및 목표

• b \neq 1일 때 $\text{PG}(b,z)$의 샘플링에서 발생하는 계산적 병목 현상을 해결하기 위해 $J^*(b,z)$의 샘플링 효율성을 향상시키기.
• b \in [1,4]$인 정수 $n$에 대해 $J^*(n,z)$의 직접 샘플러를 개발하여, 독립적인 $J^*(1,z)$ 변량 $n$개의 합을 구하는 것을 방지하기.
• 큰 $b$에 대해 정확한 방법이 비현실적이게 되는 상황에서도 빠른 샘플링을 가능하게 하기 위해 $J^*(b,z)$에 대한 안장점 근사법을 제안하기.
• $n$과 $z$에 따라 최적의 방법을 선택하는 하이브리드 샘플링 전략을 제시하여 샘플링 효율을 극대화하기.
• 다양한 $n$과 $z$ 값에서 여러 샘플링 전략을 벤치마킹하고 비교하여 성능 상충 관계를 규명하기.

제안 방법

• 무한 합성 표현식을 활용하여 $J^*(b,z)$를 독립적인 감마 변량의 합으로 표현하고, 이에 비례하는 스케일링 인자 $d_n^{-1}$를 적용함으로써 $J^*(n,z)$에 대한 별도의 샘플러를 도입함. 여기서 $d_n = \frac{\pi^2}{2}(n+\frac{1}{2})^2 + \frac{z^2}{2}$.
• J^* 분포의 무한 나누어짐 성질과 안정적 하위지표 성질을 활용하여, $n \in \{1,2,3,4\}$에 대해 $J^*(n,z)$의 직접 샘플러를 구축함.
• 모멘트 생성 함수 $M(t;b,z) = \prod_{n=0}^\infty \left(1 - \frac{t}{d_n}\right)^{-b}$를 이용해 누산 생성 함수를 매칭하고, 안장점 방정식 $\psi'(t^*) = x$를 활용하여 밀도를 근사함.
• 모멘트 생성 함수를 기반으로 한 안장점 근사를 유도하고, 근사된 밀도에서 샘플링을 수행함.
• 하이브리드 샘플링 전략을 구현하여, $n=1,2$에는 Devroye 방법, $n \in \{3,\dots,12\}$에는 별도의 방법, $13 \leq n \leq 170$에는 안장점 방법, $n \geq 170$에는 정규 근사를 사용함.
• 표준 랩탑에서 다양한 $n$과 $z$ 값에 대해 10,000개의 i.i.d. 샘플을 추출하여 모든 방법을 벤치마킹하고, 벽시계 시간을 측정하며 Devroye 방법 대비 속도 향상 비율을 계산함.

실험 결과

연구 질문

• RQ1 b가 1보다 큰 정수일 때 $J^*(b,z)$에서의 샘플링을 어떻게 가속화할 수 있는가?
• RQ2 n \in \{3,4\}에 대해 $J^*(n,z)$의 직접 샘플러가 독립적인 $J^*(1,z)$ 변량 $n$개의 합보다 얼마나 빠른가?
• RQ3 큰 $b$에 대해 $J^*(b,z)$의 안장점 근사는 정확하고 효율적인가?
• RQ4 b와 z의 다양한 범위에서 최적의 하이브리드 샘플링 전략은 무엇인가?
• RQ5 감마 함수 평가가 실패할 경우 $b \geq 170$에서 정규 근사를 신뢰성 있게 사용할 수 있는가?

주요 결과

• n \in \{3,4\}에 대해 $J^*(n,z)$의 별도 샘플러는 $z=2$일 때 Devroye 방법 대비 최대 2.75배의 속도 향상을 기록한다.
• n=10일 경우 안장점 근사 방법은 Devroye 방법 대비 2.57배의 속도 향상을 기록하며, $n$이 증가할수록 성능 향상이 지속된다.
• n \geq 13일 경우 안장점 방법이 모든 다른 방법보다 뛰어나며, $n=100$, $z=10$에서 최대 6.78배의 속도 향상을 기록한다.
• 하이브리드 샘플링 전략—$n=1,2$에는 Devroye 방법, $n=3$에서 $12$에는 별도의 방법, $n=13$에서 $170$에는 안장점 방법, $n \geq 170$에는 정규 근사를 사용—은 전체 매개변수 공간에서 최적의 성능을 달성한다.
• Fact 3.5에 기반한 절단된 합 방법(200개의 감마 변량 합)은 언제나 다른 방법보다 열등하며, 최선의 대안보다 일관되게 느리다.
• 속도 향상 비율은 $n$이 증가함에 따라 증가하며, $z$는 최적의 방법 선택에 영향을 주지만, 다양한 $z$ 값에서 일반적인 성능 추세는 일관된다.