[論文レビュー] A note on Bayesian convergence rates under local prior support conditions

Ryan R. Martin, Liang Hong+1 more|arXiv (Cornell University)|Jan 15, 2012

Statistical Methods and Inference参考文献 22被引用数 3

ひとこと要約

本稿は、真の密度の周囲におけるKullback–Leibler型の局所的集中という、非常に弱い前提条件（局所的事前分布の支援）のもとで、密度推定における最適なベイズ後確率の収束速度を示している。単純な議論を用いて、予測密度のCesaro平均および分数乗の尤度を用いた擬似後確率（pseudo-posterior）が、メトリックエントロピーの上限のような制限的なグローバル事前条件を必要とせずに、ほぼ最適な収束速度を達成することを示している。

ABSTRACT

Bounds on Bayesian posterior convergence rates, assuming the prior satisfies both local and global support conditions, are now readily available. In this paper we explore, in the context of density estimation, Bayesian convergence rates assuming only local prior support conditions. Our results give optimal rates under minimal conditions using very simple arguments.

研究の動機と目的

• 真の密度の周囲における局所的事前分布の支援条件のみを仮定した場合の、密度推定におけるベイズ後確率の収束速度を調査すること。
• メトリックエントロピーの上限のようなグローバル事前分布の条件を必要とせず、最適な収束速度が達成可能であることを示すこと。
• Cesaro平均や擬似後確率といった単純な修正が、最小限の仮定のもとで強力な収束結果をもたらすことを示すこと。
• 後確率集中理論において、制限的なグローバル条件が必ずしも必要でないことを、局所的集中のみでほぼ最適な収束速度が得られることを示すことで挑戦すること。

提案手法

• 局所的事前分布の支援のもとで収束速度を確立するために、ベイズ的予測密度のCesaro平均を分析する。
• 中心化の議論と確率的バウンドを用いて、Cesaro平均が最適速度に任意に近づくことを示す。
• 尤度を分数乗（例：1/2）に上げた擬似後確率を導入・分析し、グローバル条件がなくても後確率集中が可能であることを示す。
• Jensenの不等式とモーメントバウンドを用いて、擬似後確率の適正性と集中行動を保証する。
• 擬似後確率の分母および分子のバウンドを導出し、真の密度の収縮する近傍と交差しないヘルンダーリング球上で後確率が消えることを証明する。
• 一般の分数乗κ ∈ (0,1)に対しても結果を拡張し、κ → 1のとき擬似後確率が真の後確率に有限サンプルの挙動で近づくが、依然として局所的条件のもとで漸近的最適性を保つことを示す。

実験結果

リサーチクエスチョン

• RQ1 制限的なグローバル条件がなく、局所的事前分布の支援条件のみが満たされる場合に、最適なベイズ収束速度を達成できるか？
• RQ2 最小限の事前仮定のもとで、予測密度のCesaro平均は漸近的にどのように振る舞うか？
• RQ3 分数乗の尤度を用いた擬似後確率が、弱い条件下で収束速度を達成するために果たす役割は何か？
• RQ4 擬似後確率の収束速度を、真の後確率に任意に近づけることができるか？ その際、依然として局所的支援条件のみを要するか？
• RQ5 グローバル事前分布の支援条件を排除した場合、密度推定における達成可能な収束速度にどのような影響があるか？

主な発見

• 局所的事前分布の支援（具体的にはKullback–Leibler型の集中）のみが満たされる場合、予測密度のCesaro平均は、最適速度に任意に近づく収束速度を達成する。
• 尤度を1/2乗に上げた擬似後確率は、M² > (C+1)/2 であれば、半径Mεₙのヘルンダーリング球上で後確率集中を示す。この条件は、同じ局所的条件下で成立する。
• 擬似後確率の収束速度はほぼ最適であり、ディリクレ過程混合やベルンシュタイン多項式事前分布などの特定のケースでは、真の後確率よりも対数因子の速度で速くなることがある。
• 結果は任意の分数乗κ ∈ (0,1)に対して成り立ち、κ → 1のとき、擬似後確率は有限サンプルの挙動で真の後確率に近づくが、依然として局所的条件のもとで漸近的最適性を保つ。
• 擬似後確率の分母は、c > (C+1)/2 に対して、確率的に Iₙ ≥ e⁻ᶜⁿεₙ² を満たすため、タイトな後確率集中バウンドが得られる。
• 主な洞察は、グローバル事前分布の支援条件（例：メトリックエントロピーの上限）は最適な収束を達成するのに不要であり、擬似後確率やCesaro平均を用いる場合、局所的集中のみで十分である。