[論文レビュー] Non-asymptotic confidence intervals for MCMC in practice

Benjamin M. Gyori, Daniel Paulin|arXiv (Cornell University)|Dec 10, 2012

Markov Chains and Monte Carlo Methods参考文献 39被引用数 6

ひとこと要約

本稿では、データから推定可能なスペクトルギャップ、混合時間、漸近的分散に基づいて、非漸近的集中不等式を用いた、マルコフ連鎖モンテカルロ（MCMC）推定量の実用的で非漸近的な信頼区間を提案する。これらの境界は、特に臨床試験のような感受性の高い応用分野における指標関数において、通常の漸近的正規近似よりも信頼性が高く、誤差を過小評価する傾向がある。

ABSTRACT

Using concentration inequalities, we give non-asymptotic confidence intervals for estimates obtained by Markov chain Monte Carlo (MCMC) simulations, when using the approximation $\mathbb{E}_π f\approx (1/(N-t_0))\cdot \sum_{i=t_0+1}^N f(X_i)$. To allow the application of non-asymptotic error bounds in practice, here we state bounds formulated in terms of the spectral properties of the chain and the properties of $f$ and propose estimators of the parameters appearing in the bounds, including the spectral gap, mixing time, and asymptotic variance. We introduce a method for setting the burn-in time and the initial distribution that is theoretically well-founded and yet is relatively simple to apply. We also investigate the estimation of $\mathbb{E}_πf$ via subsampling and by using parallel runs instead of a single run. Our results are applicable to both reversible and non-reversible Markov chains on discrete as well as general state spaces. We illustrate our methods by simulations for three examples of Bayesian inference in the context of risk models and clinical trials.

研究の動機と目的

• ベイズ推論におけるMCMC推定量の実用的で有限標本の誤差境界の欠如に対処する。
• 漸近的正規近似の限界を克服する。特に指標関数において、有限標本では誤差を著しく過小評価する傾向があるため。
• 集中不等式の主要パrameter（スペクトルギャップ、混合時間、漸近的分散）のデータ駆動型推定器を開発し、実世界への応用を可能にする。
• バーンイン時間と初期分布の設定に理論的に裏付けられつつも実装可能な手法を提供する。
• サブサンプリングと並列MCMCチェーンの誤差境界および計算効率への影響を評価する。

提案手法

• 可逆および非可逆マルコフ連鎖に対して、チェビシェフ型およびベルヌーイ型集中不等式を用いて非漸近的信頼区間を定式化する。
• スペクトルギャップ、混合時間、関数fの分散に依存する境界を導出し、連鎖のエルゴドゥーシティおよび関数の性質に明示的な依存関係を設ける。
• 実証的スペクトル解析とカップリング技術を用いて、スペクトルギャップおよび混合時間の推定器を提案し、理論的妥当性を裏付ける。
• MCMC出力に基づき、漸近的分散およびfの分散の推定器を導入し、推定誤差に対する集中境界を提示する。
• スプライシング（スプライシング）と並列MCMCチェーンを適用し、分散を低減し、誤差境界のタイトさを向上させる。
• 全変動距離の境界から導かれるバーンイン時間 $ t_0 $ を用い、実現平均におけるバイアスが無視できる程度に保証する。

実験結果

リサーチクエスチョン

• RQ1 境界に未知パrameterを含むMCMCに、非漸近的集中不等式を実用的に適用できるか？
• RQ2 提案されたスペクトルギャップ、混合時間、漸近的分散の推定器は、有限標本設定でどの程度の性能を示すか？
• RQ3 非漸近的境界は、特に指標関数において、いつ漸近的正規近似を上回るのか？
• RQ4 サブサンプリングまたは並列MCMCランは、誤差境界の信頼性およびタイトさにどのように影響するか？
• RQ5 提案手法は、理論的に妥当でありながらも実用的にバーンイン時間と初期分布の選択を支援できるか？

主な発見

• ベイズリスクモデルにおける指標関数では、正規近似が誤差を著しく過小評価する一方、非漸近的境界（チェビシェフおよびベルヌーイ）は保守的かつ信頼性が保証されている。
• スペクトルギャップの推定値は $ \tilde{\nu} = 0.000000000000000000021 $ として成功裏に算出され、極めて遅い混合を示し、$ t_0 = 20000 $ として設定された。これにより、バイアスは無視できる程度 $ E(t_0) \to 2.10 \times 10^{-20} $ となった。
• 臨床試験の例では、擬似スペクトルギャップが $ \hat{\gamma}_{\mathrm{ps}} = 0.817 $ と推定され、理論的境界に基づき $ t_0 = 600 $ が選ばれ、定常分布への収束が保証された。
• チェビシェフおよびベルヌーイ境界は一貫して保守的であったが、正規近似はリスクモデルおよび臨床試験のシミュレーションの両方で尾部確率を過小評価していた。
• 長さ $ 10^4 $ の並列チェーンを $ m = 5000 $ 回実行した結果、実現平均のログテイルが非漸近的境界により良好に推定され、耐性が確認された。
• 本手法により、スペクトルギャップ推定を用いたMCMCアルゴリズムの実用的チューニングが可能となり、実応用における混合性の向上とバーンイン要件の低減が達成された。