[論文レビュー] Nested Sampling Methods

Johannes Büchner|arXiv (Cornell University)|Jan 24, 2021

Statistical Methods and Bayesian Inference被引用数 21

ひとこと要約

本稿は、ベイズ推論のためのネストド・サブセット（NS）手法について包括的なレビューと新しい定式化を提示し、パラメータ空間の探索を木構造の探索として定式化することで、既存のアルゴリズムを統一的に扱う。また、挿入順序に基づく新しいオンライン診断テストを導入し、ライブポイント数と次元数に伴う計算コストのスケーリングを体系的に分析することで、複雑でマルチモーダルかつ高次元な問題に対しても堅牢な実装のための実用的ガイドラインを提供する。

ABSTRACT

Nested sampling (NS) computes parameter posterior distributions and makes Bayesian model comparison computationally feasible. Its strengths are the unsupervised navigation of complex, potentially multi-modal posteriors until a well-defined termination point. A systematic literature review of nested sampling algorithms and variants is presented. We focus on complete algorithms, including solutions to likelihood-restricted prior sampling, parallelisation, termination and diagnostics. The relation between number of live points, dimensionality and computational cost is studied for two complete algorithms. A new formulation of NS is presented, which casts the parameter space exploration as a search on a tree data structure. Previously published ways of obtaining robust error estimates and dynamic variations of the number of live points are presented as special cases of this formulation. A new online diagnostic test is presented based on previous insertion rank order work. The survey of nested sampling methods concludes with outlooks for future research.

研究の動機と目的

• ネストド・サブセットアルゴリズムおよびその変種を体系的にレビューし、堅牢な診断を備えた完全な実装に焦点を当てる。
• 特に高次元、マルチモーダル、または楕円型でない後方分布空間において、ベイズモデル比較の課題に対処する。
• 統一的なアルゴリズムフレームワークを通じて、尤度制限付き事前分布サンプリング（LRPS）の信頼性と効率を向上させる。
• ライブポイント数と次元数に伴う計算コストのスケーリングを分析し、アルゴリズムの設定に実用的なガイドラインを提示する。
• 挿入順序に基づく新しいオンライン診断テストを導入し、NSの収束性と正確性を実時間で評価可能にする。

提案手法

• ネストド・サブセットをパラメータ空間上の木構造探索として再定式化し、既存のアプローチを統一的な概念的フレームワークの下に統合する。
• ライブポイントの挿入順序に基づく新しいオンライン診断テストを導入し、サンプリング品質のリアルタイム評価を可能にする。
• ユニットハイパーキューブ変換とコプーラモデルを用いた、複雑な事前分布（例：相関付きガウス分布、ディリクレ分布）の符号化の一般化手法を提示する。
• LRPSにおける楕円型拒否サンプリングの効率を分析し、受容率の経験的スケーリング則を導出する。
• ブートストラップ法と拒否サンプリングを用いて、高次元における信頼性のあるサンプリングのための楕円体の拡大係数を推定する。
• 数値実験を用いて、ライブポイント数と次元数に伴う計算コストのスケーリング挙動を検証する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、多様なサンプリング戦略をサポートする単一のアルゴリズムフレームワークにネストド・サブセットを体系的に統一できるか？
• RQ2 ネストド・サブセットにおけるライブポイント数、次元数、計算コストの関係は何か？
• RQ3 リアルタイムで堅牢な誤差推定と収束診断を達成するにはどうすればよいか？特に実時間での評価を想定して。
• RQ4 異なる次元数とライブポイント数において、尤度制限付き事前分布サンプリングにおける楕円型サンプリングの効率はどの程度か？
• RQ5 相関付きやディリクレ型など、非IIDな複雑な事前分布は、どのようにネストド・サブセットフレームワークに効果的に組み込むことができるか？

主な発見

• 楕円型拒否サンプリングの受容率は次元数の増加とともに低下し、ライブポイント数に強く依存しており、スケーリング則は α ≈ (1.07 − log d^{1/3}) × exp{−(6.83 × d^{1.9}/N)^{3/4}} で近似できる。
• 次元数が2倍になると、受容率50%を維持するにはライブポイント数を5倍に増やす必要があることが示され、適応的ライブポイント割り当ての必要性が強調される。
• 挿入順序に基づく新しいオンライン診断は、サンプリング品質の信頼性あるリアルタイム測定を可能にし、早期終了や不十分な探索を検出可能である。
• 木構造に基づくネストド・サブセットの定式化により、動的ライブポイント調整や堅牢な誤差推定といった既存の手法が特別なケースとして統合される。
• 多次元ガウス分布やディリクレ分布などの複雑な事前分布は、ユニットハイパーキューブ変換と逆累積分布関数法を用いて効率的に符号化可能である。
• ネストド・サブセットの計算コストは受容率に反比例し、結果としてライブポイント数と次元数に反比例する。コストは C_ell = 1/α で表される。