[論文レビュー] Introducing prior information in Weighted Likelihood Bootstrap with applications to model misspecification

Emilia Pompe|arXiv (Cornell University)|Mar 26, 2021

Bayesian Modeling and Causal Inference参考文献 56被引用数 6

ひとこと要約

この論文は、モデルの不適合に対して頑健性を向上させるために事前情報を取り入れる、重み付き尤度ブートストラップの新規拡張である後方ブートストラップ（Posterior Bootstrap）を提案する。罰則付き最適化または事前予測分布からの擬似サンプルを用いることで、頻度的性質を維持しつつ、階層モデルでさえも原理的かつ一貫したベイズ推論を可能にする。理論的裏付けはエッジワース展開によるもので、実証的検証ではモデルの不適合に対する感受性が低減していることが示された。

ABSTRACT

We propose Posterior Bootstrap, a set of algorithms extending Weighted Likelihood Bootstrap, to properly incorporate prior information and address the problem of model misspecification in Bayesian inference. We consider two approaches to incorporating prior knowledge: the first is based on penalization of the Weighted Likelihood Bootstrap objective function, and the second uses pseudo-samples from the prior predictive distribution. We also propose methodology for hierarchical models, which was not previously known for methods based on Weighted Likelihood Bootstrap. Edgeworth expansions guide the development of our methodology and allow us to provide greater insight on properties of Weighted Likelihood Bootstrap than were previously known. Our experiments confirm the theoretical results and show a reduction in the impact of model misspecification against Bayesian inference in the misspecified setting.

研究の動機と目的

• 真のデータ生成過程を完全に捉えていない仮定モデルにおけるベイズ推論におけるモデル不適合の課題に対処すること。
• 従来のこの手法群に欠けていた事前情報の適切な統合を、重み付き尤度ブートストラップフレームワークに拡張すること。
• 重み付き尤度ブートストラップに基づく手法では以前に未解決であった、階層モデルに対する頑健な推論スキームの開発。
• エッジワース展開を用いて、事前信念が標準的ベイズ推論と同様に反映されることを理論的に正当化すること。
• 提案手法が、標準的ベイズ推論と比較して、有限標本におけるモデル不適合の影響を軽減することを実証的に示すこと。

提案手法

• 2つのアプローチを提案：尤度関数の重み付き対数尤度に事前項を追加する罰則化、および事前予測分布からの擬似サンプルの生成。
• エッジワース展開を用いてハイパーパrameterの選定を支援し、不適合下での漸近的挙動を検証する。
• ブートストラップサンプリングプロセスにおける近似誤差を是正するため、逐次的重要度再サンプリングアルゴリズムを適用する。
• 重み付き尤度最適化により、グループレベルのパラメータと個別レベルのパラメータを同時に推定することで、階層モデル向けにスケーラブルかつ並列化可能なアルゴリズムを開発する。
• 2段階のサンプリングプロセスを採用：まず擬似サンプル上で重み付き尤度によるハイパーパrameter推定を行い、その後、スケーリングされた重みを用いて事後分布サンプルを抽出する。
• ディリクレ事前分布の濃度パrameter $ c $ を用いて、擬似サンプルの情報量を制御し、$ c $ は経験的補正または理論的指針により設定される。

実験結果

リサーチクエスチョン

• RQ1 重み付き尤度ブートストラップフレームワークに、モデル不適合下での頑健性向上に寄与するように、事前情報が効果的に統合可能か？
• RQ2 罰則化と擬似サンプリングという、異なる事前情報統合手法が、得られる推論の頻度的性質にどのように影響を与えるか？
• RQ3 重み付き尤度ブートストラップでは以前に利用可能ではなかったが、後方ブートストラップは階層モデルに拡張可能か？
• RQ4 エッジワース展開は、モデル不適合下での重み付き尤度ブートストラップの挙動をどの程度解明できるか？
• RQ5 提案手法は、有限標本において、標準的ベイズ推論と比較してモデル不適合の影響を軽減するか？

主な発見

• 後方ブートストラップは、重み付き尤度ブートストラップに事前情報を取り入れることに成功し、標準的ベイズ推論と同様に事前信念が反映されることを保証する。
• モデル不適合下でも、真の事後分布と比較した際のバタチャリヤ距離が低減していることから、モデル不適合の影響が軽減されていることが示された。
• モデルが適切に適合している状況では、後方ブートストラップは標準的ベイズ推論とほぼ同一の事後分布を生成し、一貫性が確認された。
• 階層モデルでは、安定的かつ正確な事後推定が得られ、$ ilde{ heta} $ および $ ilde{ heta}_{k} $ のカーネル密度推定が完全なベイズ推論と密接に一致した。
• 調整済み $ c $ を用いた擬似サンプルの使用は、固定された $ c $ を用いる場合よりも有限標本での性能が優れており、特にモデル不適合状況で顕著であった。
• 実証的結果から、両者とも漸近的に同値であるにもかかわらず、有限標本では $ ilde{ heta} $ が $ ar{ heta} $ よりも優れた性能を示し、提案アルゴリズムの有限標本における優れた性質が裏付けられた。