[論文レビュー] Split Sampling: Expectations, Normalisation and Rare Events

John R. Birge, Changgee Chang+1 more|arXiv (Cornell University)|Dec 3, 2012

Bayesian Methods and Mixture Models参考文献 39被引用数 5

ひとこと要約

本稿では、補助変数と適応的重み付けを用いて、ターゲットの期待値をより推定しやすい正規化定数の集合に分割することにより、高次元の期待値およびレアイベント確率を推定する、MCMCに基づく新規な手法「スプリットサンプリング」を提案する。この手法は、ラオ＝ブラックウェル化推定と重み関数の適応的MCMCチューニングにより、マルチモーダルまたは高次元の設定において、クロスエントロピー法やネストドサンプリングよりも高い効率性を達成する。

ABSTRACT

In this paper we develop a methodology that we call split sampling methods to estimate high dimensional expectations and rare event probabilities. Split sampling uses an auxiliary variable MCMC simulation and expresses the expectation of interest as an integrated set of rare event probabilities. We derive our estimator from a Rao-Blackwellised estimate of a marginal auxiliary variable distribution. We illustrate our method with two applications. First, we compute a shortest network path rare event probability and compare our method to estimation to a cross entropy approach. Then, we compute a normalisation constant of a high dimensional mixture of Gaussians and compare our estimate to one based on nested sampling. We discuss the relationship between our method and other alternatives such as the product of conditional probability estimator and importance sampling. The methods developed here are available in the R package: SplitSampling.

研究の動機と目的

• 複雑で高次元なモデルにおける高次元期待値およびレアイベント確率の推定を、より効率的に行うための手法の開発。
• マルチモーダルまたは混合が悪い状況において、クロスエントロピー法やネストドサンプリングといった既存手法の限界を克服すること。
• 補助変数と重み付きMCMCを用いた、柔軟で適応的なフレームワークを導入し、モンテカルロ推定の精度を向上させること。
• 共通の補助変数の定式化を通じて、スプリットサンプリングを製品推定器、ネストドサンプリング、スライスサンプリングと統一的に関連付ける視点の提供。
• 最短経路問題や高次元ガウス混合分布の正規化といった応用を通じて、本手法の実用的有用性を示すこと。

提案手法

• 本手法は、補助変数 m を導入し、重み関数 ω(m) を用いて条件付き分布を傾ける、連合スプリットサンプリング分布 π_SS(x, m) を定義する。
• ターゲットの期待値 Z を、P(L(x) > m) というレアイベント確率の積分として表現し、全期待値をこれらの確率の重み付き平均に分解するための重要な恒等式を活用する。
• MCMCアルゴリズムにより連合分布 π_SS(x, m) からのサンプリングが行われ、m の周辺分布が正規化定数の推定に用いられ、それらが統合されて最終的な推定量が得られる。
• 重み関数 ω(m) はMCMCの出力から適応的に学習され、モンテカルロ分散を最小化することで、状態空間の効率的探索が可能になる。
• スライスサンプリングやネストドサンプリングと関連するが、(x, m) 空間の完全な探索と、MCMCを用いた ω(m) の適応的精緻化という点で異なる。
• 離散的および連続的両方のスプリット関数 L_m(x) をサポートし、製品推定器およびネストドサンプリングのサンプリング行動と一致するデフォルト設定を採用する。

実験結果

リサーチクエスチョン

• RQ1 高次元期待値およびレアイベントの推定効率を向上させるために、問題を管理可能なコンポonentに分割する統一的フレームワークを構築できるか？
• RQ2 スプリットサンプリングにおける重み関数 ω(m) の適応的選択が、MCMC推定量の分散および収束に与える影響は何か？
• RQ3 マルチモーダルまたは高次元の尤度関数において、クロスエントロピー法やネストドサンプリングと比較して、スプリットサンプリングがどの程度優れているか？
• RQ4 サンプリング戦略および推定効率の観点から、スプリットサンプリングと製品推定器、スライスサンプリング、ネストドサンプリングといった既存手法との関係は何か？
• RQ5 最短経路確率やスパイン・アンド・スラブ混合分布の正規化といった、現実世界の問題にスプリットサンプリングを効果的に適用できるか？

主な発見

• 最短経路問題において、スプリットサンプリングは、粗いモンテカルロ法およびクロスエントロピー法よりも低い平均二乗誤差（RMS）を達成し、精度の向上を示した。
• 中心化されたガウス混合モデルでは、スプリットサンプリングはネストドサンプリングと同等の性能を示し、log(Z) の推定においてRMSが 0.207 であった。
• 非中心化でマルチモーダルなガウス分布のケースでは、スプリットサンプリングは標準的なネストドサンプリング（RMS: 2.620 対 0.591）および広範なネストドサンプリング（RMS: 0.763 対 0.591）を著しく上回り、マルチモーダル性へのロバストネスが優れていることを示した。
• スプリットサンプリングにおける適応的MCMCアルゴリズムにより、Ω_t および Ž_t の収束が速く、トレースプロットから尤度関数の両モードが効果的に探索されていることが確認された。
• 本手法の性能は、異なるパrameter設定に対してもロバストであり、ターゲット分布の事前知識が不要な状態で、適応的重み関数が推定効率を向上させた。
• スプリットサンプリング推定量が、製品推定器およびネストドサンプリングの一般化であることが示され、補助変数MCMCおよびラオ＝ブラックウェル化の共通の理論的基盤を持つことが明らかになった。