[論文レビュー] Criteria for posterior consistency

B. J. K. Kleijn, Yue Zhao|arXiv (Cornell University)|Aug 6, 2013

Bayesian Methods and Mixture Models参考文献 30被引用数 4

ひとこと要約

この論文は、ベイズ非パラメトリック推論における事後分布の一貫性を柔軟に扱うフレームワークを構築する。スバーツの定理を、完全適合・不適合モデルの両方へ一般化し、カルバック・ライブララー近傍条件の代わりにヘリンジャーまたはメトリック球内の事前分布質量の下界を用いる。より弱い条件下でも事後分布の一貫性を確立し、特にKL事前分布が存在しないモデルに対しても有効であり、第二階層のガラル・ガオシュ・ヴァン・ダー・ヴァート条件を、KL近傍における事前分布質量の下界へ緩和可能であることを示す。これにより、重い尾を持つ分布を伴うパラメトリックモデルですら、収束速度の保証が可能となる。

ABSTRACT

Frequentist conditions for asymptotic suitability of Bayesian procedures focus on lower bounds for prior mass in Kullback-Leibler neighbourhoods of the data distribution. The goal of this paper is to investigate the flexibility in criteria for posterior consistency with i.i.d. data. We formulate a versatile posterior consistency theorem that applies both to well- and mis-specified models and which we use to re-derive Schwartz's theorem, consider Kullback-Leibler consistency and formulate consistency theorems in which priors charge metric balls. It is generalized to sieved models with Barron's negligible prior mass condition and to separable models with variations on Walker's consistency theorem. Results also apply to marginal semi-parametric consistency: support boundary estimation is considered explicitly and consistency is proved in a model for which Kullback-Leibler priors do not exist. Other examples include consistent density estimation in mixture models with Dirichlet or Gibbs-type priors of full weak support. Regarding posterior convergence at a rate, it is shown that under a mild integrability condition, the second-order Ghosal-Ghosh-van der Vaart prior mass condition can be relaxed to a lower bound to the prior mass in Schwartz's Kullback-Leibler neighbourhoods. The posterior rate of convergence is derived in a simple, parametric model for heavy-tailed distributions in which the Ghosal-Ghosh-van der Vaart condition cannot be satisfied by any prior.

研究の動機と目的

• カルバック・ライブララー近傍を超えて、メトリック球およびヘリンジャー近傍を含む事後分布の一貫性基準を拡張すること。
• 完全適合モデルにとどまらず、非全有界なモデルに対してもスバーツの定理を一般化すること。
• 第二階層のガラル・ガオシュ・ヴァン・ダー・ヴァート条件を、KL近傍における事前分布質量の下界へ緩和すること。
• KL事前分布が存在しないモデル（例：有界サポートを持つ位置尺度族）に対しても、事後分布の一貫性を確立すること。
• 標準的条件が成立しない状況でも、弱い積分可能性条件のもとで事後分布収束速度を導出すること。

提案手法

• ヘリンジャー球を用いた被覆論法を用いて、完全適合・不適合モデルの両方に適用可能な一般化された事後分布一貫性定理を提案する。
• バロンの無視可能な事前分布質量条件を模倣したパーティショニング戦略を用いて、全有界ではないモデルを扱う。
• ウォーカーの一致性フレームワークを応用し、カルバック・ライブララー距離における分離度に基づくテスト系列を構築する。
• 事後分布集中度を定量化するために、$ \pi_{P_0}(W,B) $ という重要な量を導入し、$ P_0 $ における集合 $ W $ と $ B $ 間の分離度を測定する。
• 事後尾確率を制御するため、尤度比 $ \mathbb{E}_{P_0}[ (dP/dQ)^\alpha ] $ に対する新しいバウンドを用いる。
• KL近傍における事前分布質量の下界が、事後分布の一貫性および収束速度の両方を保証するのに十分であることを示す。特に、ガラル・ガオシュ・ヴァン・ダー・ヴァート条件が満たされない場合でも有効である。

実験結果

リサーチクエスチョン

• RQ1 ヘリンジャー距離におけるモデルの全有界性が要求されない状況でも、事後分布の一貫性を確立できるか？
• RQ2 カルバック・ライブララー事前分布が存在しないモデル（例：有界サポートを持つ位置尺度族）に対しても、事後分布の一貫性を達成できるか？
• RQ3 第二階層のガラル・ガオシュ・ヴァン・ダー・ヴァート条件を、KL近傍における事前分布質量の下界へ緩和できるか？
• RQ4 標準的条件が成立しないパラメトリックモデル（重い尾を持つ分布）に対しても、本フレームワークは収束速度の保証を可能にするか？
• RQ5 KL事前分布が存在しない状況でも、サポート境界推定を伴う半パラメトリックモデルで、周辺的半パラメトリック一貫性を達成できるか？

主な発見

• モデルがヘリンジャー距離で全有界でなくても、KL近傍における事前分布質量の下界が成立する限り、事後分布の一貫性が成立する。
• 本フレームワークは、スバーツの定理を不適合モデルへ一般化し、KL事前分布が存在しないモデルでも一貫性推定を可能にする。
• KL事前分布が利用できない半パラメトリックモデルにおいても、サポート境界推定のための一貫性が確立される。
• 第二階層のガラル・ガオシュ・ヴァン・ダー・ヴァート条件は、KL近傍における事前分布質量の下界へ緩和可能であり、これにより収束速度の保証が可能となる。
• ガラル・ガオシュ・ヴァン・ダー・ヴァート条件を満たすいかなる事前分布に対しても成立しない重い尾を持つ分布を伴うパラメトリックモデルに対しても、収束速度が導出可能である。
• ディリクレ分布やギブス型事前分布を用いた混合モデルにおいて、完全な弱的サポートを持つ場合に、一貫性のある密度推定に本手法が適用可能である。