[論文レビュー] Robust Inference and Model Criticism Using Bagged Posteriors

Jonathan H. Huggins, Jeffrey W. Miller|arXiv (Cornell University)|Dec 15, 2019

Statistical Methods and Inference参考文献 40被引用数 11

ひとこと要約

この論文は、ブートストラップ標本からの事後分布の平均化によって、モデル不適合下での不確実性の定量化と予測精度を向上させる、ロバストなベイズ推論手法BayesBagを紹介する。BayesBagの漸近的理論を確立し、モデルとデータの不適合を診断するためのインデックスを提案する。合成データおよび実世界の設定において、線形回帰、スパースなロジスティック回帰、階層モデルの文脈で、標準的なベイズ推論およびブートストラップ法よりも優れた性能を示す。

ABSTRACT

Standard Bayesian inference is known to be sensitive to model misspecification, leading to unreliable uncertainty quantification and poor predictive performance. However, finding generally applicable and computationally feasible methods for robust Bayesian inference under misspecification has proven to be a difficult challenge. An intriguing, easy-to-use, and widely applicable approach is to use bagging on the Bayesian posterior ("BayesBag"); that is, to use the average of posterior distributions conditioned on bootstrapped datasets. In this paper, we develop the asymptotic theory of BayesBag, propose a model-data mismatch index for model criticism using BayesBag, and empirically validate our theory and methodology on synthetic and real-world data in linear regression, sparse logistic regression, and a hierarchical mixed effects model. We find that in the presence of significant misspecification, BayesBag yields more reproducible inferences and has better predictive accuracy than the standard Bayesian posterior; on the other hand, when the model is correctly specified, BayesBag produces superior or equally good results. Overall, our results demonstrate that BayesBag combines the attractive modeling features of standard Bayesian inference with the distributional robustness properties of frequentist methods, providing benefits over both Bayes alone and the bootstrap alone.

研究の動機と目的

• 標準的なベイズ推論がモデル不適合に対して感受性が高いため、不確実性の定量化に信頼性がなく、予測性能も劣ることが生じるという問題に対処すること。
• ベイズ手法のモデリングの柔軟性を保ちつつ、頻度主義的手法からの分布的ロバスト性を組み込んだ、汎用的かつ計算的に実行可能なロバストなベイズ推論のための方法を開発すること。
• 事後分布の分散の差に基づく診断ツールを提供し、外部の検証データを必要とせずに、モデルとデータの不適合を定量化すること。
• 正規性条件のもとでBayesBagの漸近的理論を確立し、その挙動を Bernstein–von Mises 定理と頻度主義的性質に結びつけること。
• 多様な統計モデル、特に不適合した設定を含む文脈において、予測精度、再現性、ロバスト性という観点から、BayesBagの優位性を実証的に検証すること。

提案手法

• BayesBagは、ブートストラップ標本から得られる標準的な事後分布の平均として、バギング事後分布を計算する：$\pi^{*}(\theta|x) \approx \frac{1}{B}\sum_{b=1}^{B}\pi(\theta|x^{*}_{(b)})$、ここで$x^{*}_{(b)}$は元のデータから復元抽出で得られたサイズ$M$のブートストラップ標本である。
• この手法は、階層モデル、指数型分布族、MCMC や変分ベイズ推論が可能なモデルなどに広く適用可能な、標準的なベイズ事後分布計算ツールに依存している。
• 正しいモデル仕様のもとで期待される値と比較して、バギング事後分布の分散と標準的事後分布の分散の比に基づいた、モデルとデータの不適合インデックスを提案する。
• このインデックスは、事後分布分散の漸近的挙動に理論的根拠を置き、Bernstein–von Mises 定理を用いてキャリブレーションされ、分散の増大を介して不適合の検出が可能になる。
• 保守的な推論のため、ブートストラップ標本サイズ$M$は$N$（元の標本サイズ）に設定されるが、事後分布の正規性が妥当であると仮定できる場合には、データ駆動的な選択（例：$\hat{M}_{\infty,\text{opt}}$）も可能である。
• 並列処理により、ブートストラップ標本ごとの事後分布計算を高速化し、$B$に関するモンテカルロ誤差の境界を用いて近似の収束を検証する。

実験結果

リサーチクエスチョン

• RQ1 モデル不適合下で、BayesBagは標準的なベイズ手法に比べて、どのように事後推論を改善するか？
• RQ2 モデルが不適合している場合に、バギング事後分布は標準的事後分布に比べて、より優れた予測精度と不確実性のキャリブレーションを達成できるか？
• RQ3 正規性条件のもとで、BayesBagの漸近的挙動に理論的根拠はあるか？
• RQ4 バギング事後分布は、どのようにしてモデルとデータの不適合を診断できるか？また、提案された不適合インデックスの統計的根拠は何か？
• RQ5 BayesBagは、事前分布の統合や階層モデル化といったベイズ推論の利点を維持しながら、ブートストラップのロバスト性を獲得できるか？

主な発見

• 顕著なモデル不適合が存在する状況では、BayesBagは標準的なベイズ事後分布推論に比べ、より再現性の高い推論と優れた予測精度をもたらす。
• モデルが正しく指定されている場合、BayesBagは標準的ベイズ推論と同等またはそれ以上の結果をもたらすため、正しく指定された状況でも性能劣化がないことが示された。
• 提案されたモデルとデータの不適合インデックスは、標準的事後分布に比べて事後分布分散の増大を測定することで、不適合を効果的に検出できる。値が高くなるほど、不適合度が大きいことを示す。
• 漸近的理論により、BayesBagは真のパラメータを中心とする分布に収束し、モデル不適合下でも不確実性と標本変動を反映した分散を持つことが示された。
• 並列処理により事後分布計算を高速化することで、計算上の実行可能性とスケーラビリティが確保され、$B=50$から$100$程度の範囲で安定した近似が得られることが確認された。
• BayesBagは、ベイズモデリングの長所（例：事前分布の統合、階層構造）と、頻度主義的手法のロバスト性を効果的に統合し、純粋なベイズ法や純粋なブートストラップ法に比べ、主な側面で優れた性能を発揮した。