[論文レビュー] Relevant statistics for Bayesian model choice

Jean‐Michel Marin, Natesh S. Pillai+2 more|arXiv (Cornell University)|Oct 21, 2011

Markov Chains and Monte Carlo Methods参考文献 17被引用数 13

ひとこと要約

本稿は、ABC手法における一貫的なベイジアンモデル選択を保証する要因となる要約統計量の必要十分条件を確立している。ベイズ因子が統計量 T に基づいて計算される場合、その因子が真のモデルに収束するのは、2つのモデル下での T の漸近的平均が異なる場合に限る。主な貢献は、信頼性のあるモデル選択を検証するための形式的漸近的枠組みを提供することにある。

ABSTRACT

The choice of the summary statistics used in Bayesian inference and in particular in ABC algorithms has bearings on the validation of the resulting inference. Those statistics are nonetheless customarily used in ABC algorithms without consistency checks. We derive necessary and sufficient conditions on summary statistics for the corresponding Bayes factor to be convergent, namely to asymptotically select the true model. Those conditions, which amount to the expectations of the summary statistics to asymptotically differ under both models, are quite natural and can be exploited in ABC settings to infer whether or not a choice of summary statistics is appropriate, via a Monte Carlo validation.

研究の動機と目的

• 要約統計量 T に基づくベイズ因子がモデル選択において一貫する条件を特定すること。
• 不適切に選ばれた要約統計量によるABCアルゴリズムにおける一貫性の欠如のリスクに対処すること。
• そのサンプリング分布の漸近的性質を用いて要約統計量を検証する理論的枠組みを提供すること。
• ABCに基づくモデル比較における十分統計量および補助統計量の役割を形式化すること。
• 与えられた統計量 T が一貫した推論をもたらすかどうかを評価するためのモンテカルロ検証手法を提供すること。

提案手法

• 要約統計量 $ \textbf{T}(\textbf{y}) $ に基づくベイズ因子 $ B^T_{12}(\textbf{y}) $ の一貫性に関する必要十分条件を、2つのモデル下での $ \textbf{T} $ の漸近的平均の観点から導出する。
• 漸近的理論を用いて、各モデル下での周辺尤度の極限的挙動を分析し、事後オッズが真のモデルに収束する傾向を注目する。
• 集中不等式および測度論的議論を用いて、パラメータ空間の異なる領域における、尤度の積分が閾値を超える確率を制限する。
• パラメータ空間 $ \theta_i $ を真の平均 $ \boldsymbol{\theta}_0 $ からの距離に基づいて集合 $ \text{H}_j $ に分割し、尾部挙動を制御可能にする。
• マーカフの不等式およびフビニの定理を用いて、周辺尤度積分の確率的境界を導出し、確率的に収束を保証する。
• 真のモデルと偽のモデル下での $ \textbf{T} $ の期待値が漸近的に異なるかどうかをチェックすることで、一貫性条件のモンテカルロによる検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 標本サイズが増加する際、要約統計量 $ \textbf{T} $ に基づくベイズ因子が正しいモデルに収束する条件は何か？
• RQ2 恣意的検証に依存せずに、与えられた要約統計量がABCベースのモデル選択に適しているかどうかをどのように評価できるか？
• RQ3 十分性および補助性は、ABC設定におけるベイズ因子の一貫性を決定づける役割を果たすか？
• RQ4 完全データに基づくベイズ因子とABC近似によるベイズ因子との乖離を定量化・制御できるか？
• RQ5 ABC近似下での周辺尤度の漸近的性質は何か？ そして、真のモデル証拠とどのように関係するか？

主な発見

• ベイズ因子 $ B^T_{12}(\textbf{y}) $ は、2つのモデル下での要約統計量 $ \textbf{T} $ の漸近的平均が異なる場合に限り一貫する。
• 2つのモデル下で $ \textbf{T} $ の漸近的平均が同一である場合（ネストされたケースを除く）、ベイズ因子は 0 または $ \notinfty $ に収束する可能性があり、結果としてモデル選択が一貫しなくなる。
• 本稿では、一貫性条件の下で $ \text{Pr}\big( \text{周辺尤度積分} > C \times g_n(\textbf{T}^n) v_n^{-d_i} \big) \to 0 $ が $ n \to \infty $ のとき成り立つことを証明している。
• 2つのモデル下で同じ漸近的平均を持つ統計量については、文献に示された反例により、ベイズ因子が漸近的に一貫しなくなる可能性があることが示されている。
• 本手法により、真のモデルと偽のモデル下での $ \textbf{T} $ の期待値が漸近的に異なるかどうかをチェックすることで、統計量 $ \textbf{T} $ の一貫性をモンテカルロで検証可能である。
• 一貫性条件は、完全な尤度に依存せず、$ \textbf{T} $ の極限的挙動にのみ依存するため、モデルの誤特定に対して頑健である。