[論文レビュー] An Auto-validating Rejection Sampler

Raazesh Sainudiin, A. York|ArXiv.org|Nov 15, 2006

Bayesian Methods and Mixture Models参考文献 31被引用数 4

ひとこと要約

本稿では、正規化定数を必要とせず、複雑で高次元の標本密度から独立したサンプルを生成するための区間解析を用いた自己検証型拒否サンプリング手法を提案する。区間算術による関数評価の厳密なバウンディングにより、各サンプルの正しさが保証され、多峰性や病理的密度（例：魔女の帽子）に対しても高い受容率を達成する。

ABSTRACT

In Bayesian statistical inference and computationally intensive frequentist inference, one is interested in obtaining samples from a high dimensional, and possibly multi-modal target density. The challenge is to obtain samples from this target without any knowledge of the normalizing constant. Several approaches to this problem rely on Monte Carlo methods. One of the simplest such methods is the rejection sampler due to von Neumann. Here we introduce an auto-validating version of the rejection sampler via interval analysis. We show that our rejection sampler does provide us with independent samples from a large class of target densities in a guaranteed manner. We illustrate the efficiency of the sampler by theory and by examples in up to 10 dimensions. Our sampler is immune to the `pathologies' of some infamous densities including the witch's hat and can rigorously draw samples from piece-wise Euclidean spaces of small phylogenetic trees.

研究の動機と目的

• 標本密度の正規化定数が未知であっても、各サンプルの正しさを保証するサンプリング手法の開発。
• 高次元、多峰性、または病理的密度において従来の拒否サンプリングに見られる限界の解消。
• 拒否サンプリングに区間解析を統合し、サンプルの正しさをコンピュータ支援証明によって保証する自己検証型アルゴリズムの構築。
• 10次元までにまでスケーラブルであり、受容確率に理論的保証を伴う高い効率性の実現。

提案手法

• 本手法は区間算術を用いて、標本密度 $p^*$ と提案密度 $q^*$ の自然な区間拡張 $P^*$ と $Q^*$ を計算し、関数値に厳密なバウンディングを保証する。
• すべての $\theta$ に対して $f_q(\theta) \geq p^*(\theta)$ を満たすように、$f_q = c q^*$ というエンベロープ関数を構築し、非効率性を最小化するように $c$ を選ぶ。
• 提案分布 $q^*$ から候補 $T$ を生成し、$H \sim \text{Uniform}[0, f_q(T)]$ として一様分布から高さ $H$ を生成し、$H \leq p^*(T)$ であれば $T$ を受容する。
• 区間拡張 $P^*$ と $Q^*$ を用いて $p^*$ と $q^*$ のバウンディングを計算し、受容意思決定が数学的に厳密で、浮動小数点誤差の影響を受けないことを保証する。
• ドメインをより小さな区間に細分化することで、反復的に精度と受容確率を向上させる。受容確率は $1 - \mathcal{O}(1/W)$ の速度で漸近的に向上する。
• 本手法はオープンソースの C++ ライブラリとして実装されており、複雑な密度からの再現可能で検証可能なサンプリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 区間解析を用いて、コンピュータ支援証明により各サンプルの正しさを保証する拒否サンプリングを構築できるか？
• RQ2 ドメインの細分化に伴い、区間ベースの拒否サンプリングの受容確率は高次元空間でどのようにスケーリングするか？
• RQ3 本手法は、非対数凸性、多峰性、あるいは病理的密度（例：魔女の帽子）からも効率的にサンプリングできるか？
• RQ4 ドメインの分割が細かくなるに従い、受容確率の理論的漸近的挙動はいかなるものか？
• RQ5 本手法の自己検証性は、従来の浮動小数点演算に基づく拒否サンプリングと比較して、信頼性をどのように向上させるか？

主な発見

• モア拒否サンプラー（MRS）は、各サンプルが数学的保証付きのコンピュータ支援証明を伴うため、標本密度 $p$ から独立したサンプルを生成する。
• ドメインが $W$ 個の区間に分割されるに従い、受容確率 $\mathbf{A}^p_{\mathfrak{U}_W}$ は $1 - \mathcal{O}(1/W)$ の速度で 1 に近づき、細分化による高い効率性を保証する。
• 本手法は非対数凸性や多峰性を持つ密度からも効果的にサンプリングでき、標準的なサンプラーが失敗する有名な「魔女の帽子」分布に対しても成功を収めた。
• MRS は 10 次元までにまで耐性を示し、高次元設定におけるスケーラビリティと信頼性を実証した。
• 理論的解析により、$p^*$ と $q^*$ に対する区間ベースのバウンディングが、浮動小数点演算や近似によるサンプリング誤差を一切生じないことを確認した。
• オープンソースの C++ 実装が公開されており、ベイズ的および頻度主義的推論における再現可能性と実用的利用を可能にしている。