[論文レビュー] On convergence rates of Bayesian predictive densities and posterior distributions

Ryan Martin, Liang Hong|arXiv (Cornell University)|Sep 29, 2012

Bayesian Methods and Mixture Models参考文献 10被引用数 5

ひとこと要約

本稿は、予測密度を核心的ツールとして用い、iambic、誤当り、非i.i.i.d.、従属的など多様なデータモデルにおけるベイズ後測度および予測密度の収束速度を統一的に分析するフレームワークを構築する。局所的事前分布の厚さと分離性に注目することで、モデル構造や混合性に関する最小限の仮定で、より鋭く一般化された後測度集中の保証を可能にする、弱い条件での収束速度結果を確立する。

ABSTRACT

Frequentist-style large-sample properties of Bayesian posterior distributions, such as consistency and convergence rates, are important considerations in nonparametric problems. In this paper we give an analysis of Bayesian asymptotics based primarily on predictive densities. Our analysis is unified in the sense that essentially the same approach can be taken to develop convergence rate results in iid, mis-specified iid, independent non-iid, and dependent data cases.

研究の動機と目的

• i.i.i.d.、誤当り、独立非i.i.i.d.、および従属的マルコフ過程を含む多様な統計的モデルにおける後測度および予測密度収束速度の分析を統一すること。
• 予測密度と局所的事前分布の厚さに焦点を当てることで、強いエントロピーまたは被覆条件への依存を軽減すること。
• 特に従属的または複雑なモデルにおいて、後測度の完全な集中よりも弱い仮定のもとで予測密度の収束を確立できることを示すこと。
• 真の密度から遠い集合の後測度確率をバインドする、分離に基づく新規補題を導入し、複数のデータ依存構造に適用可能であることを示すこと。
• 予測密度の収束速度が、最小最大最適レートに達する条件を、最小限の正則性仮定のもとで示すこと。後測度収束にはより強い混合性やモーメント仮定を要する場合でも成立する。

提案手法

• 予測密度を分析の主対象とし、さまざまな損失関数におけるベイズ推定量としての役割を活用する。
• ChoiとRamamoorthi (2008) のインスピレーションを受けて、真の密度から離れた集合の後測度確率をバインドする分離に基づく補題を導入し、ハリントン距離およびカルバック・リーブラー距離を用いる。
• 真の密度における事前の局所的厚さを、比 $ R_n(f) = \frac{\text{like}(f)}{\text{like}(f^\bullet)} $ を用いて定義する。これにより、真の値の近傍に十分な事前確率が集中することを保証する。
• 最大ハリントン距離および平均ハリントン距離を用いた被覆議論により、パrameter空間のエントロピーおよびメトリックエントロピーを制御する。
• Ghosalら (2000) のシーブ＋被覆アプローチを適応し、Walker ら (2007) の先行の和条件と比較することで、前者の条件が弱いことを示す。
• カルバック・リーブラー発散のモーメント条件と第一モーメント制御を用いて、強い混合仮定を避けることで、従属データへの拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 多様な統計的モデル（i.i.i.d.、誤当り、独立非i.i.i.d.、従属的マルコフ過程）にわたるベイズ後測度および予測密度の収束速度を統一的に分析できるアプローチを構築できるか？
• RQ2 後測度完全集中に要する条件よりも弱い条件下で、予測密度の収束をどの程度保証できるか？
• RQ3 パrameter集合の局所的事前分布の厚さと分離性は、後測度が真の密度のまわりにどの程度の速度で集中するかにどのように影響するか？
• RQ4 従属的または誤当りモデルにおいて、強い混合性や尤度の高階モーメント仮定なしに、予測密度の収束を確立できるか？
• RQ5 シーブに基づく被覆条件と、後測度集中理論における事前和条件との関係は何か？

主な発見

• 本稿は、標準的な後測度収束定理よりも弱い条件下で、i.i.i.d.、誤当りi.i.i.d.、独立非i.i.i.d.、および従属的マルコフ過程の4つのデータモデルすべてにおいて、予測密度のセザロ的収束速度結果を確立する。
• 真の密度から離れた集合の後測度確率をバインドする、新規の分離に基づく補題を導入し、4つのデータモデルすべてに一貫して適用可能である。
• Ghosal ら (2000) のシーブ＋被覆条件が、Walker ら (2007) の事前和条件よりも弱いことが示され、事前の設計における柔軟性の向上を示唆する。
• スプライン事前分布を用いたノンパラメトリック回帰において、局所的事前分布の厚さとやや弱い滑らかさ仮定のもとで、予測密度は最小最大レート $ n^{-\frac{\beta}{2\beta+1}} $ に収束する。これは最適レートに一致する。
• 従属データモデルにおいて、予測密度の収束は、第一モーメントのカルバック・リーブラー制御を超えて、混合性やモーメント条件を一切要しない。一方、後測度収束にはより強い仮定が必要となる。
• 分析により、予測密度収束の観点では、モデルのエントロピーおよびグローバル被覆条件は不要であることが判明した。必要なのは、局所的事前分布の厚さと分離性のみであり、これによりより弱く現実的なかたちの事前分布制約が得られる可能性がある。