[論文レビュー] Asymptotic normality, concentration, and coverage of generalized posteriors

Jeffrey W. Miller|arXiv (Cornell University)|Jul 22, 2019

Statistical Methods and Bayesian Inference参考文献 76被引用数 27

ひとこと要約

この論文は、擬尤度、部分尤度、ロバスト尤度などの非尤度から導かれる一般化された事後分布が、漸近正規性、集中性、ラプラス近似、正しい頻度的被覆率を示す一般で検証可能な条件を確立する。主な貢献は、真の確率モデルが存在しない状況でも、i.i.d.および非i.i.d.設定に適用可能な一様かつほとんど確実な収束フレームワークを提供することである。

ABSTRACT

Generalized likelihoods are commonly used to obtain consistent estimators with attractive computational and robustness properties. Formally, any generalized likelihood can be used to define a generalized posterior distribution, but an arbitrarily defined "posterior" cannot be expected to appropriately quantify uncertainty in any meaningful sense. In this article, we provide sufficient conditions under which generalized posteriors exhibit concentration, asymptotic normality (Bernstein-von Mises), an asymptotically correct Laplace approximation, and asymptotically correct frequentist coverage. We apply our results in detail to generalized posteriors for a wide array of generalized likelihoods, including pseudolikelihoods in general, the Gaussian Markov random field pseudolikelihood, the fully observed Boltzmann machine pseudolikelihood, the Ising model pseudolikelihood, the Cox proportional hazards partial likelihood, and a median-based likelihood for robust inference of location. Further, we show how our results can be used to easily establish the asymptotics of standard posteriors for exponential families and generalized linear models. We make no assumption of model correctness so that our results apply with or without misspecification.

研究の動機と目的

• 標準尤度を超える一般化された事後分布の漸近的妥当性を評価する一般理論的枠組みを提供すること。
• 一般化ベイズ推論における集中性、漸近正規性、頻度的被覆率の統一的条件の欠如に対処すること。
• 空間的・ネットワーク的・生存時間モデルなどの複雑なモデルにおける一般化された事後分布の実用的応用を可能にする、容易に検証可能な基準を提供すること。
• 真の確率的モデルを仮定しない非i.i.d.および誤ったモデル設定へのベルンシュタイン＝フォン・ミーゼス理論の拡張。
• 標準的および一般化された事後分布における後件の一貫性および漸近正規性に関する既存結果を統一的かつ一般化すること。

提案手法

• 一般化された事後分布を $ \pi_n(\theta) \propto \exp(-n f_n(\theta)) \pi(\theta) $ として形式化し、$ f_n $ を決定的関数列とみなす。
• 決定的関数列のアプローチにより確率論と実解析を分離し、ほとんど確実な収束結果を可能にする。
• 一般化された優越収束定理を用いて漸近正規性およびラプラス近似を証明する。
• 真のモデルを必要としない後件の集中性を保証するため、UCT仮定の代わりに新しい条件（条件3）を導入する。
• 定理7により、事前に滑らかさを仮定しないように、$ f_n $、$ f_n' $、$ f_n'' $ に対する正則性条件を導出する。
• 例としてイジング模型、コックス回帰、ボルツマン機械、および中央値に基づくロバスト尤度の多様な設定で結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 真のモデルが正しく指定されていない場合でも、一般化された事後分布が真のパラメータ値の周囲に集中する条件は何か？
• RQ2 非i.i.d.またはモデルが誤っている設定において、一般化された事後分布が漸近正規性（ベルンシュタイン＝フォン・ミーゼス性）を達成するのはいつか？
• RQ3 弱い正則性条件下で、一般化された事後分布に対するラプラス近似が漸近的に正しいと言えるか？
• RQ4 一般化された事後分布から導かれる信用区間が、漸近的に正しい頻度的被覆率を達成するか？
• RQ5 この理論的枠組みを指数型分布族および一般化線形モデルにおける標準的事後分布にどのように適用できるか？

主な発見

• 真の確率モデルが存在しない状況でも、弱い条件下で一般化された事後分布は真のパラメータにほとんど確実に収束する。
• ベルンシュタイン＝フォン・ミーゼス定理が、確率収束ではなく全 Variation 距離におけるほとんど確実収束として一般化された事後分布に成立する。
• 擬尤度、部分尤度、ロバスト尤度に対して、漸近正規性およびラプラス近似のための十分条件が提示され、検証済みである。
• i.i.d.および非i.i.i.d.データ、空間的・ネットワーク的・生存時間モデルに対しても、モデルが誤っている状況でも適用可能である。
• この枠組みは、指数型分布族および一般化線形モデルにおける標準的事後分布の漸近的性質を回復・一般化する。
• 証明技法は、共通サポートなどの一般的な仮定を回避し、$ f_n $ の直接的解析に依存するため、より広範な適用性を有する。