[論文レビュー] Posterior concentration rates for empirical Bayes procedures, with applications to Dirichlet Process mixtures

Sophie Donnet, Vincent Rivoirard+2 more|arXiv (Cornell University)|Jun 17, 2014

Bayesian Methods and Mixture Models参考文献 40被引用数 5

ひとこと要約

本稿は、ハイパーパrameterがデータから推定される設定において、データに依存する事前分布を用いた経験ベイズ手順における事後分布の収束速度に関する一般条件を確立する。これは、頻度主義的漸近理論を、事前分布が事後的に決定される状況へと拡張するものである。これらの結果を、正規分布のディリクレ過程混合およびアーレンモデル下でのカウント過程に適用し、最適な収束速度を導出し、非一様ポアソン過程におけるシミュレーションを通じて手法の有効性を検証する。

ABSTRACT

In this paper we provide general conditions to check on the model and the prior to derive posterior concentration rates for data-dependent priors (or empirical Bayes approaches). We aim at providing conditions that are close to the conditions provided in the seminal paper by Ghosal and van der Vaart (2007a). We then apply the general theorem to two different settings: the estimation of a density using Dirichlet process mixtures of Gaussian random variables with base measure depending on some empirical quantities and the estimation of the intensity of a counting process under the Aalen model. A simulation study for inhomogeneous Poisson processes also illustrates our results. In the former case we also derive some results on the estimation of the mixing density and on the deconvolution problem. In the latter, we provide a general theorem on posterior concentration rates for counting processes with Aalen multiplicative intensity with priors not depending on the data.

研究の動機と目的

• ハイパーパrameterがデータに依存する経験ベイズ手順における事後収束速度を評価する一般枠組みを構築すること。
• Ghosalおよびvan der Vaart (2007a) の理論的枠組みをデータ駆動型事前分布へと拡張し、事後推論の頻度主義的妥当性を保証すること。
• 事前分布が事前に固定されていなくても、経験ベイズ事後分布が最適な速度で収束する条件を確立すること。
• 非パラメトリックモデルへの一般理論の応用：正規分布のディリクレ過程混合およびアーレンモデル下でのカウント過程。
• 非一様ポアソン過程におけるシミュレーションスタディを通じて、理論的結果の妥当性を検証すること。

提案手法

• Ghosalおよびvan der Vaart (2007a) のテストおよび事前分布質量の条件をデータ依存的事前分布に適応させることで、データ依存的事前分布における事後収束速度に関する一般定理を導出する。
• データ駆動型事前分布に適合した、仮説 $ H_0: \theta = \theta_0 $ 対 $ H_1: d(\theta, \theta_0) > \epsilon_n $ のための指数的強力な検定を構築する。
• Kullback-Leibler近傍における事前分布質量およびパrameter空間のメトリックエントロピーに条件を課すことにより、事後分布の収束を制御する。
• 標本平均や標本分散などの経験的量に依存するベース測度を有するディリクレ過程混合にこの枠組みを適用する。
• カウント過程のアーレンモデルを分析し、データ駆動型事前分布を用いた乗法的強度の事後収束速度を導出する。
• シミュレーションスタディを用いて、経験ベイズ事後分布が非一様ポアソン強度を推定する際の性能を提示する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパrameterがデータから推定される場合、経験ベイズ事後分布が最適な速度で収束する条件は何か？
• RQ2 Ghosalおよびvan der Vaart (2007a) の理論枠組みは、非パラメトリックモデルにおけるデータ依存的事前分布へと拡張可能か？
• RQ3 ベース測度がデータ駆動型である場合、正規分布のディリクレ過程混合における事後収束速度は何か？
• RQ4 データ依存的事前分布を用いたアーレンモデル下でのカウント過程において、経験ベイズ事後分布はどのように振る舞うか？
• RQ5 非一様ポアソン過程におけるシミュレーションを通じて、理論的結果を経験的に検証可能か？

主な発見

• 本稿は、事前分布がデータに依存しても、完全ベイズ的手法と同等の速度で経験ベイズ事後分布が収束する十分条件を確立する。
• データ駆動型ベース測度を有する正規分布のディリクレ過程混合では、正則性条件下で密度推定におけるミニマックスレートに収束する。
• ハイパーパrameterが経験的に推定されるが、事前分布自体がデータに依存しない場合、アーレンモデルにおけるカウント過程で最適な収束速度が得られる。
• シミュレーションスタディにより、非一様ポアソン過程において経験ベイズ事後分布が正しい速度で収束することが確認され、理論的結果を支持する。
• 本稿は、ディリクレ過程混合設定における混合密度推定およびデコンボリューションに関する追加的結果を導出し、フレームワークの適用範囲を拡張する。
• 理論的枠組みは、パラメトリックおよび非パラメトリックモデルを包括する十分な一般性を持ち、経験ベイズ事後収束を統一的に扱うアプローチを提供する。