[論文レビュー] Simulation-efficient shortest probability intervals

Ying Liu, Andrew Gelman+1 more|arXiv (Cornell University)|Feb 8, 2013

Statistical Methods and Inference参考文献 8被引用数 4

ひとこと要約

本稿では、MCMCシミュレーションからのより安定的で正確な最高尤度密度（HPD）区間を計算するための、ブートストラップに基づく二次計画法であるSpin（Simulation-efficient Shortest Probability Intervals）を提案する。順序統計量を最適に重み付けすることにより、特に有効サンプルサイズが小さい場合に、経験的最短区間と比較してモンテカルロ誤差を低減する。同時に一貫性を保ち、非対称な事後分布において中央区間を上回る性能を示す。

ABSTRACT

Bayesian highest posterior density (HPD) intervals can be estimated directly from simulations via empirical shortest intervals. Unfortunately, these can be noisy (that is, have a high Monte Carlo error). We derive an optimal weighting strategy using bootstrap and quadratic programming to obtain a more compu- tationally stable HPD, or in general, shortest probability interval (Spin). We prove the consistency of our method. Simulation studies on a range of theoret- ical and real-data examples, some with symmetric and some with asymmetric posterior densities, show that intervals constructed using Spin have better cov- erage (relative to the posterior distribution) and lower Monte Carlo error than empirical shortest intervals. We implement the new method in an R package (SPIn) so it can be routinely used in post-processing of Bayesian simulations.

研究の動機と目的

• 事後分布の有効サンプルサイズが小さい場合に、経験的最短区間のモンテカルロ誤差が高くなる問題に対処すること。
• MCMC出力からHPD区間を推定するための計算効率的で一貫性のある手法を開発すること、特に非対称かつ有界な事後分布に対して。
• 歪んだ事後分布においてモードや最高密度領域をよりよく捉える中央区間の実用的代替案を提供すること。
• シミュレーションコストを増加させることなく、日常的なベイズ的データ解析における事後区間要約の信頼性を向上させること。

提案手法

• 事後シミュレーションの経験的順序統計量を、最短区間の構築に用いる入力として使用する。
• ブートストラップリサンプリングを用いて、経験的最短区間の標本誤差を推定する。
• 推定誤差を最小化するように順序統計量の最適な重みを見つけるために二次計画法を採用する。
• より安定的で正確な最短区間推定を得るために、順序統計量の重み付き平均を導出する。
• 通常、安定性と高密度領域・低密度領域の両方でのノイズ低減のバランスをとるために、帯域パラメータ b = √n をデフォルトとして設定する。
• Rパッケージ（SPIn）として実装し、日常的なベイズ的シミュレーションの後処理に利用可能にする。

実験結果

リサーチクエスチョン

• RQ1 順序統計量の重み付き組み合わせは、MCMCシミュレーションからの最短確率区間推定におけるモンテカルロ誤差を低減できるか？
• RQ2 提案手法であるSpinの性能は、経験的最短区間および中央区間と比較して、被覆確率および平均二乗誤差の観点でどのように異なるか？
• RQ3 本手法は、対称的および非対称な事後分布の両方において一貫性と安定性を保っているか？
• RQ4 境界に影響を受ける事後分布、例えばゼロで下限が設定された分散パラメータに対して、Spinは効果的に機能するか？
• RQ5 高いMCMCバーニングや低い有効サンプルサイズの設定において、Spinの計算コストは正当化されるか？

主な発見

• 有効サンプルサイズが小さい場合に、Spin区間は経験的最短区間と比較して顕著に低いモンテカルロ誤差を示す。
• 非対称な事後分布では、中央区間が境界付近の高尤度密度領域を除外する可能性があるのに対し、Spin区間はそれよりも短く、最高密度領域をよりよく捉えている。
• 対称な事後分布では、Root Mean Squared Error（RMSE）および被覆確率の観点で、Spinは中央区間と同等の性能を示す。
• 本手法はシミュレーションの一貫性を示しており、シミュレーション数が増加するにつれて真のHPD区間に収束する。
• デフォルトの帯域パラメータ b = √n は、多様な分布形状にわたって安定性とノイズ低減のバランスをとる強固な選択である。
• 実データ例および実証的研究（階層モデルや過分散パラメータを含む）により、標準的な経験的HPD区間よりも、Spinがより信頼性の高い事後要約を提供することが確認された。