[논문 리뷰] An Auto-validating Rejection Sampler

Raazesh Sainudiin, A. York|ArXiv.org|2006. 11. 15.

Bayesian Methods and Mixture Models참고 문헌 31인용 수 4

한 줄 요약

이 논문은 정규화 상수를 알지 못해도 복잡한 고차원 대상 밀도에서 독립적인 표본을 생성하기 위해 간격 분석을 사용한 자동 검증 가능한 기각 샘플러를 소개한다. 간격 산술을 통해 함수 평가를 엄밀하게 경계함으로써 각 표본의 정확성이 보장되며, 다중 모달성 또는 병리학적 밀도(예: 마녀의 모자)와 같은 경우에도 높은 수용률을 달성한다.

ABSTRACT

In Bayesian statistical inference and computationally intensive frequentist inference, one is interested in obtaining samples from a high dimensional, and possibly multi-modal target density. The challenge is to obtain samples from this target without any knowledge of the normalizing constant. Several approaches to this problem rely on Monte Carlo methods. One of the simplest such methods is the rejection sampler due to von Neumann. Here we introduce an auto-validating version of the rejection sampler via interval analysis. We show that our rejection sampler does provide us with independent samples from a large class of target densities in a guaranteed manner. We illustrate the efficiency of the sampler by theory and by examples in up to 10 dimensions. Our sampler is immune to the `pathologies' of some infamous densities including the witch's hat and can rigorously draw samples from piece-wise Euclidean spaces of small phylogenetic trees.

연구 동기 및 목표

• 정규화 상수가 알려져 있지 않은 경우에도 대상 밀도에서 추출된 각 표본의 정확성을 보장하는 샘플링 방법을 개발하기 위해.
• 기존 기각 샘플링 기법이 고차원, 다중 모달성 또는 병리학적 대상 밀도에서 가지는 한계를 해결하기 위해.
• 간격 분석을 기각 샘플링에 통합하여 표본 정확성에 대한 컴퓨터 보조 증명을 제공하는 자가 검증 가능한 알고리즘을 개발하기 위해.
• 10차원 이내에서 높은 효율성과 확장 가능성을 확보하고, 수용 확률에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 해당 방법은 대상 밀도 $p^*$와 제안 밀도 $q^*$의 자연적 간격 확장을 간격 산술을 통해 계산하여 함수 값에 대한 엄밀한 경계를 확보한다.
• 모든 $\theta$에 대해 $f_q(\theta) \geq p^*(\theta)$가 되도록 $f_q = c q^*$ 형태의 봉우리 함수를 구성하며, 비효율성을 최소화하기 위해 $c$를 선택한다.
• 알고리즘은 제안 분포 $q^*$에서 후보 $T$를 생성하고, 균일 분포 $H \sim \text{Uniform}[0, f_q(T)]$에서 높이를 생성하며, $H \leq p^*(T)$이면 $T$를 수용한다.
• 표본 수용 결정이 부동소수점 오차 없이 수학적으로 엄밀하게 보장되도록, $P^*$와 $Q^主动$의 간격 확장을 사용하여 $p^*$와 $q^*$의 경계를 계산한다.
• 영역을 더 작은 간격으로 세분화함으로써 알고리즘이 적응적으로 개선되며, $1 - \mathcal{O}(1/W)$ 비율로 정확도와 수용 확률이 점차 향상된다.
• 샘플러는 오픈소스 C++ 라이브러리로 구현되어 있어, 복잡한 밀도에서 재현 가능하고 검증 가능한 표본 추출을 가능하게 한다.

실험 결과

연구 질문

• RQ1 간격 분석을 활용하여 컴퓨터 보조 증명을 통해 각 표본의 정확성을 보장하는 기각 샘플러를 구축할 수 있는가?
• RQ2 도메인 세분화가 진행될수록 고차원 공간에서 간격 기반 기각 샘플러의 수용 확률은 어떻게 변화하는가?
• RQ3 비로그-볼록성, 다중 모달성 또는 병리학적 밀도(예: 마녀의 모자)에서 이 방법이 효율적으로 작동하는가?
• RQ4 도메인의 분할이 점점 더 미세해질수록 수용 확률의 이론적 점근적 행동은 어떻게 되는가?
• RQ5 이 샘플러의 자동 검증 성격은 기존 부동소수점 기반 기각 샘플링에 비해 신뢰성을 어떻게 향상시키는가?

주요 결과

• 모어 기각 샘플러(MRS)는 각 표본이 수학적 보장과 함께 컴퓨터 보조 증명을 제공하므로, 대상 밀도 $p$에서 독립적인 표본을 생성한다.
• 도메인이 $W$개의 간격으로 분할될수록 수용 확률 $\mathbf{A}^p_{\mathfrak{U}_W}$는 $1 - \mathcal{O}(1/W)$ 비율로 1에 수렴하여 세분화에 따라 높은 효율성을 확보한다.
• 이 방법은 비로그-볼록성 및 다중 모달성 밀도에서 성공적으로 표본을 추출할 수 있으며, 기존 샘플러가 실패하는 유명한 '마녀의 모자' 분포를 포함하여도 효과적이다.
• MRS는 10차원 이내에서 안정적으로 작동하여 고차원 환경에서의 확장성과 신뢰성을 입증한다.
• 이론적 분석을 통해 $p^*$와 $q^*$에 대한 간격 기반 경계가 부동소수점 산술이나 근사 오차로 인한 표본 오차를 방지함을 확인하였다.
• 오픈소스 C++ 구현체가 공개되어 있어, 베이지안 및 빈도주의 추론에서 재현 가능성과 실용적 적용을 가능하게 한다.