[論文レビュー] Bayes factor consistency

Siddhartha Chib, Todd A. Kuffner|arXiv (Cornell University)|Jul 1, 2016

Bayesian Methods and Mixture Models参考文献 114被引用数 24

ひとこと要約

本稿は、対数ベイズ因子を3つの成分に分解することにより、ベイズ因子の一貫性を統一的に分析するフレームワークを提供する。その3成分とは、対数尤度比、対数事前密度比、および負の対数後部密度比である。主な貢献は、各モデル下での後部収縮率がベイズ因子の一貫性を決定することを示したことである。後部比は、適切な事前支持条件のもとで、モデル選択の一貫性を保証するペナルティ項として機能する。

ABSTRACT

Good large sample performance is typically a minimum requirement of any model selection criterion. This article focuses on the consistency property of the Bayes factor, a commonly used model comparison tool, which has experienced a recent surge of attention in the literature. We thoroughly review existing results. As there exists such a wide variety of settings to be considered, e.g. parametric vs. nonparametric, nested vs. non-nested, etc., we adopt the view that a unified framework has didactic value. Using the basic marginal likelihood identity of Chib (1995), we study Bayes factor asymptotics by decomposing the natural logarithm of the ratio of marginal likelihoods into three components. These are, respectively, log ratios of likelihoods, prior densities, and posterior densities. This yields an interpretation of the log ratio of posteriors as a penalty term, and emphasizes that to understand Bayes factor consistency, the prior support conditions driving posterior consistency in each respective model under comparison should be contrasted in terms of the rates of posterior contraction they imply.

研究の動機と目的

• 多様な統計的モデルにわたるベイズ因子の一貫性を理解するための統一的理論的枠組みを提供すること。
• モデル選択の一貫性を駆動する事前支持条件と後部収縮率の役割を明確にすること。
• 対数ベイズ因子を漸近的解析に向けた解釈可能な成分に分解すること。
• 後部密度比が一貫性を保証するペナルティ項として果たす役割を強調すること。

提案手法

• Chib (1995) の周辺尤度恒等式を用いて、周辺尤度を尤度、事前分布、後部分布の密度比として表現する。
• 対数ベイズ因子を3つの加法的成分に分解する：対数尤度比、対数事前密度比、および負の対数後部密度比。
• モデルのパラメータまたは関数の一致推定子を用いて、各成分の大標本挙動を分析する。
• 後部密度比をモデルの複雑さをペナルティとする項として定式化する。
• 後部の一貫性および収縮率に関する既知の結果を応用し、ベイズ因子の漸近的挙動を評価する。
• パラメトリック、ノンパラメトリック、セミパラメトリックモデルにこのフレームワークを拡張する。回帰および密度推定の設定を含む。

実験結果

リサーチクエスチョン

• RQ1 対数ベイズ因子を尤度、事前分布、後部分布の成分に分解することで、その漸近的挙動はどのように明確化されるか？
• RQ2 後部収縮率は、ベイズ因子の一貫性を決定する上で果たす役割は何か？
• RQ3 事前支持条件は、異なるモデルクラスにわたるベイズ因子の一貫性にどのように影響するか？
• RQ4 後部密度比は、モデル比較においてどのようにペナルティ項として機能するか？
• RQ5 この分解フレームワークは、非ネスト型、ノンパラメトリック型、セミパラメトリック型のモデル比較へ一般化可能か？

主な発見

• 対数ベイズ因子は、対数尤度比、対数事前密度比、および負の対数後部密度比の和に分解される。
• 後部密度比は、モデルの複雑さに応じて増加するペナルティ項として機能し、データが単純なモデルを支持する場合にはそれを好む。
• ベイズ因子の一貫性は、単に一貫した後部の存在よりも、各モデル下での後部収縮率の相対的な速さに依存する。
• 真のモデルが代替モデルよりも速く後部が収縮する限り、i.i.d. でない場合やセミパラメトリックな設定下でも一貫性が保たれる。
• 周辺尤度が解析的に求めにくい場合でも、このフレームワークは、3つの成分の漸近的挙動に注目することで、真のモデルが一貫して選択される理由を説明する。
• このアプローチは、特に高次元およびノンパラメトリックな設定において、ベイズ因子の実務的成功を理論的に裏付ける。