[論文レビュー] Bayes and empirical Bayes: do they merge?

Sonia Petrone, Judith Rousseau+1 more|arXiv (Cornell University)|Apr 6, 2012

Bayesian Methods and Mixture Models参考文献 21被引用数 5

ひとこと要約

この論文は、経験ベイズ（EB）事後分布が漸近的に完全ベイズ事後分布と一致するかどうかを厳密に検討し、ベイズ的弱合併（弱収束）および頻度主義的強合併（全変動距離）の両基準における収束条件を確立している。EB事後分布が一様に一貫するための必要十分条件を示し、特にディリクレ過程混合モデルやg-priorのような設定において、ハイパーパrameterの周辺最尤推定量が退化している場合にEB手順が合併に失敗することを明らかにしている。

ABSTRACT

Bayesian inference is attractive for its coherence and good frequentist properties. However, it is a common experience that eliciting a honest prior may be difficult and, in practice, people often take an {\em empirical Bayes} approach, plugging empirical estimates of the prior hyperparameters into the posterior distribution. Even if not rigorously justified, the underlying idea is that, when the sample size is large, empirical Bayes leads to "similar" inferential answers. Yet, precise mathematical results seem to be missing. In this work, we give a more rigorous justification in terms of merging of Bayes and empirical Bayes posterior distributions. We consider two notions of merging: Bayesian weak merging and frequentist merging in total variation. Since weak merging is related to consistency, we provide sufficient conditions for consistency of empirical Bayes posteriors. Also, we show that, under regularity conditions, the empirical Bayes procedure asymptotically selects the value of the hyperparameter for which the prior mostly favors the "truth". Examples include empirical Bayes density estimation with Dirichlet process mixtures.

研究の動機と目的

• 経験ベイズ（EB）事後分布が、どのような条件下で完全ベイズ事後分布と漸近的に合併するかを特定すること。
• EB手順の統計的妥当性を、その一貫性およびベイズ事後分布への収束性を分析することで評価すること。
• ハイパーパrameterの周辺最尤推定量が退化している（例：0または1）場合にEB手順が合併に失敗する状況を特定すること。
• 特に非正則または高次元設定において、推定されたハイパーパrameterを代入する一般的な経験的実践の理論的根拠を提供すること。
• EB事後分布が一貫性やベルンシュタイン＝フォン・ミーゼス行動といった良好な頻度主義的性質をどのように引き継ぐかの条件を明確にすること。

提案手法

• 2つの合併の概念を用いる：ベイズ的弱合併（事後分布の弱収束）と頻度主義的強合併（真のデータ生成分布下での全変動距離のほとんど surely 収束）。
• 真のパラメータ値 θ₀ におけるEB事後分布の弱一貫性が、パrameter space 内のすべての θ₀ に対して成立することと、弱合併が同値であることを確立する。
• マージナル尤度のラプラス近似を用いて、EBマージナル尤度 m(X₁:n|λ̂ₙ) を真の尤度 pθ₀ⁿ(X₁:n) と比較する。
• 推定されたハイパーパrameterと真のハイパーパrameterの下での事前密度比を分析することで、EB事後分布と完全ベイズ事後分布のL₁距離の上限を導出する。
• u = √n I(θ₀)^{1/2}(θ - θ̂ₙ) を用いた変換により、MLE θ̂ₙ の周囲における集中度を分析し、事前密度比が1から著しく離れる集合 Vₙ を定義する。
• ガウス近似と体積の上限を用いて、λ̂ₙ における事前分布があまりに集中しすぎている、または真実とずれている場合、L₁距離が0から離れたまま残ることを示し、合併の失敗を示す。

実験結果

リサーチクエスチョン

• RQ1 経験ベイズ事後分布が、どのような条件下で完全ベイズ事後分布と弱収束するか？
• RQ2 経験ベイズ事後分布が、全変動距離において、どのような条件下で完全ベイズ事後分布と強収束するか？
• RQ3 なぜ経験ベイズ手順が、例えば p̂ = 0 や 1 といった退化したハイパーパrameter推定値を生じさせ、病理的行動を示すことがあるのか？また、それはいつ避けがたいのか？
• RQ4 ハイパーパrameterの周辺最尤推定量が、一貫したEB事後分布をもたらすことができるか？その条件は何か？
• RQ5 ディリクレ過程混合モデルやg-priorのような設定では、なぜ経験ベイズ手順が完全ベイズと合併しなくなるのか？その理由は何か？

主な発見

• EB事後分布の弱合併は、パrameter space 内のすべての θ₀ に対して、真のパラメータ θ₀ におけるEB事後分布の弱一貫性と同値である。
• 推定されたハイパーパrameter λ̂ₙ が、真の値と比べて事前分布が極端に集中しすぎている、または真実とずれている場合、L₁距離が0から離れたまま残り、EB事後分布は完全ベイズ事後分布と合併しない。これは、MLE λ̂ₙ が一貫している場合でも同様に成立する。
• モデル選択事前分布におけるハイパーパrameter p の周辺最尤推定量が、正の確率で 0 または 1 に収束する場合、対応するEB事前分布は退化し、結果として事後分布の振る舞いが悪くなる。
• 滑らかな尤度関数と事前分布を備えた正則なパラメトリックモデルでは、ハイパーパramターレーマーが一貫しており、かつ真の値 θ₀ で事前分布が連続であれば、EB事後分布は全変動距離において完全ベイズ事後分布に収束する。
• λ̂ₙ → λ であっても、λ̂ₙ における事前分布が真の λ における事前分布と漸近的に同値でない限り、EBと完全ベイズ事後分布のL₁距離は0から離れたまま残る。
• ディリクレ過程混合モデルやg-priorでは、EB手順が真の状態を最も支持するハイパーパラメータ値を選択する条件を同定し、合併と一貫性を保証する。