[論文レビュー] Contemplating Evidence: properties, extensions of, and alternatives to Nested Sampling

Nicolás Chopin, Christian P. Robert|arXiv (Cornell University)|Jan 25, 2008

Statistical Methods and Bayesian Inference被引用数 13

ひとこと要約

本稿では、ネストド・サブセットィングがモンテカルロ誤差率 N⁻¹/² を達成し、漸近的に正規分布に従う誤差を持つことを確立しており、また漸近的分散が次元に対して線形に増加することを示している。また、MCMCを用いない拡張手法を提案し、周辺尤度計算のための2つの事後分布ベースの代替手法とネストド・サブセットィングを比較し、混合モデルや高次元設定下でもその有効性を示している。

ABSTRACT

Nested sampling is a novel simulation method for approximating marginal likelihoods, proposed by Skilling (2007a,b). We establish that nested sampling leads to an error that vanishes at the standard Monte Carlo rate N −1/2, where N is a tuning parameter that is proportional to the computational effort, and that this error is asymptotically Gaussian. We show that the corresponding asymptotic variance typically grows linearly with the dimension of the parameter. We use these results to discuss the applicability and efficiency of nested sampling in realistic problems, including posterior distributions for mixtures. We propose an extension of nested sampling that makes it possible to avoid resorting to MCMC to obtain the simulated points. We study two alternative methods for computing marginal likelihood, which, in contrast with nested sampling, are based on draws from the posterior distribution and we conduct a comparison with nested sampling on several realistic examples.

研究の動機と目的

• ネストド・サブセットィングの漸近的誤差行動を分析し、収束速度と分布を確立すること。
• ネストド・サブセットィングの漸近的分散がパrameter空間の次元にどのように依存するかを調査すること。
• MCMCを用いてライブポイントを生成するのを避けるネストド・サブセットィングの拡張を考案すること。
• 事後分布のサンプルに基づく2つの代替手法とネストド・サブセットィングを、周辺尤度計算の観点から比較すること。
• 混合モデルのような現実的で高次元な問題におけるネストド・サブセットィングの実用的効率性と適用可能性を評価すること。

提案手法

• 著者らは、ネストド・サブセットィング推定量の漸近的分布を導出し、N⁻¹/² のレートで正規分布に収束することを示している。
• 推定量の漸近的分散を計算し、パrameter空間の次元に対して線形に増加することを実証している。
• MCMCによるサンプリングを、決定的または代替のサンプリング手法に置き換えることで、ライブポイントを生成する拡張手法を提案している。
• 2つの代替手法を導入し、いずれもネストド・サブセットィングではなく、事後分布のサンプルに基づいている。
• 混合分布を含む現実的な統計モデルにおけるネストド・サブセットィングと2つの代替手法の性能を、実験的に比較している。
• 理論的結果は、有限サンプルの挙動と効率性を評価するためのベンチマーク問題におけるシミュレーションによって裏付けられている。

実験結果

リサーチクエスチョン

• RQ1 ネストド・サブセットィング推定量の漸近的誤差レートと分布は何か？
• RQ2 ネストド・サブセットィングの漸近的分散は、パrameter空間の次元が増加するにつれてどのように変化するか？
• RQ3 MCMCに依存せずにライブポイントを生成できるように、ネストド・サブセットィングを変更できるか？
• RQ4 事後分布ベースの代替手法は、周辺尤度推定において精度と効率の観点からネストド・サブセットィングと比較してどうなるか？
• RQ5 混合モデルのような高次元で複雑なモデルにおいて、ネストド・サブセットィングとその代替手法の実用的性能はいかがなものか？

主な発見

• ネストド・サブセットィングは、計算努力に比例するN⁻¹/² の標準モンテカルロ誤差率を達成する。
• ネストド・サブセットィングの漸近的誤差分布は正規分布であるため、統計的推論や不確実性の定量化が可能になる。
• 推定量の漸近的分散は、パrameter空間の次元に比例して増加するため、高次元では潜在的な制限要因となる可能性がある。
• 提案されたネストド・サブセットィングの拡張により、MCMCに依存せずにライブポイントを生成できるようになり、計算効率が向上し、マルコフ連鎖の収束に依存しなくなる。
• 実験的比較により、2つの事後分布ベースの代替手法は、MCMCが非効率的または混合が遅い設定では、競争力のある性能を示すことがわかった。
• 混合モデルや高次元問題において、ネストド・サブセットィングは依然として有効であるが、次元数や事前分布の選択に敏感であることが判明した。