[論文レビュー] Empirical priors for targeted posterior concentration rates

Ryan R. Martin, Stephen G. Walker|arXiv (Cornell University)|Apr 19, 2016

Bayesian Methods and Mixture Models参考文献 40被引用数 8

ひとこと要約

本稿では、高次元ベイズモデルにおける最適な事後分布集中レートを保証するデータに依存する事前分布（経験的事前分布）を構築する一般枠組みを提案する。尤度が大きいパrameter値に事前分布の質量を割り当てることで、事前分布の形状への感度を低減し、密度推定、非パラメトリック回帰、高次元正規モデルにおいて、しばしば最適な集中レートを達成しつつも、便利な事前分布を用いることが可能になる。

ABSTRACT

In high-dimensional Bayesian applications, choosing a prior such that the corresponding posterior distribution has desired asymptotic concentration properties can be challenging. This paper develops a general strategy for constructing empirical or data-dependent priors whose corresponding posterior distributions have targeted, often optimal, concentration rates. In essence, the idea is to place a prior which has sufficient mass on parameter values for which the likelihood is suitably large. This makes the asymptotic properties of the posterior less sensitive to the shape of the prior which, in turn, allows users to work with priors of convenient forms while maintaining the desired posterior concentration rates. General results on both adaptive and non-adaptive rates based on empirical priors are presented, along with illustrations in density estimation, nonparametric regression, and high-dimensional structured normal models.

研究の動機と目的

• 高次元ベイズモデルにおける所望の漸近的集中レートをもたらす事前分布の選択という課題に対処すること。
• データに依存する事前分布構築を活用して、事後分布の集中が事前分布の形状に依存する感度を低減すること。
• 多様なモデルに適用可能な、適応的および非適応的集中レートの両方に一般化可能な戦略を構築すること。
• 最適な事後分布集中特性を維持しつつ、便利な事前分布形を用いることを可能にすること。

提案手法

• 尤度が大きいパrameter値に質量を割り当てる方法により、経験的事前分布を構築し、高い事後分布集中を実現すること。
• 経験的リスクまたは尤度に基づく選択を用いて事前分布のサポートを定義し、データに依存するものとする。
• 適応的および非適応的設定の両方において、経験的事前分布下での事後分布集中レートに関する一般理論的結果を確立すること。
• 密度推定、非パラメトリック回帰、高次元構造的正規モデルを含む具体的なモデルにこの枠組みを適用すること。
• 正則性条件下で、事後分布集中レートがミニマックス最適レートと一致することを示すこと。
• 尤度を事前分布の質量割り当ての代理として用いることで、事前分布の形と集中性能の間の分離を実現すること。

実験結果

リサーチクエスチョン

• RQ1 高次元モデルにおいて、最適な事後分布集中レートを達成するためのデータに依存する事前分布を構築できるか？
• RQ2 望ましい漸近的集中特性を維持しつつ、事前分布の形状への感度をどのように低減できるか？
• RQ3 経験的事前分布が適応的または非適応的最適な事後分布集中レートをもたらすために満たすべき一般条件は何か？
• RQ4 密度推定や非パラメトリック回帰といった設定では、経験的事前分布アプローチが最適なパフォーマンスを発揮するか？
• RQ5 データ駆動の質量割り当てと組み合わせた場合、便利な事前分布形を効果的に使用できるか？

主な発見

• 経験的事前分布は、尤度が大きいパrameter領域に事前分布の質量を集約することで、事前分布の形状に依存しない最適な事後分布集中レートを達成する。
• 単純または便利な事前分布形を用いても、標的の集中レートを保証するため、実用的利便性が向上する。
• 理論的結果により、正則性条件下で事後分布集中レートがミニマックス最適レートと一致することが示された。
• この枠組みは、密度推定、非パラメトリック回帰、高次元構造的正規モデルを含め、広く適用可能である。
• 複雑な事前分布の指定を必要とせず、適応的集中レートを実現できる。
• 尤度を事前分布の質量割り当ての指針として用いることで、多様なモデルにおいて漸近的挙動が安定化される。