[論文レビュー] Using bagged posteriors for robust inference and model criticism

Jonathan H. Huggins, Jeffrey W. Miller|arXiv (Cornell University)|Dec 15, 2019

Bayesian Methods and Mixture Models参考文献 65被引用数 10

ひとこと要約

本稿では、ブートストラップ標本からの事後分布の平均化によって、モデルの不適合下でも信頼性を高める、ロバストなベイズ推論手法BayesBagを提案する。BayesBagの漸近的理論を確立し、モデルとデータの不一致を評価するインデックスを導入し、複数のモデルを通じて、特にモデルが不適合である場合に予測精度、再現性、正しいモデル選択が向上することを示している。正しく適合している場合でも、優れた性能を維持する。

ABSTRACT

Standard Bayesian inference is known to be sensitive to model misspecification, leading to unreliable uncertainty quantification and poor predictive performance. However, finding generally applicable and computationally feasible methods for robust Bayesian inference under misspecification has proven to be a difficult challenge. An intriguing, easy-to-use, and widely applicable approach is to use bagging on the Bayesian posterior (BayesBag); that is, to use the average of posterior distributions conditioned on bootstrapped datasets. In this paper, we comprehensively develop the asymptotic theory of BayesBag, propose a model--data mismatch index for model criticism using BayesBag,and empirically validate our theory and methodology on synthetic and real-world data in linear regression (both feature selection and parameter inference), sparse logistic regression, a hierarchical mixed effects model, and phylogenetic tree reconstruction. We find that in the presence of significant misspecification, BayesBag yields more reproducible inferences, has better predictive accuracy, and selects correct models more often than the standard Bayesian posterior; meanwhile, when the model is correctly specified, BayesBag produces superior or equally good results for parameter inference and prediction, while being slightly more conservative for model selection. Overall, our results demonstrate that BayesBag combines the attractive modeling features of standard Bayesian inference with the distributional robustness properties of frequentist methods, providing benefits over both Bayes alone and the bootstrap alone.

研究の動機と目的

• 標準的なベイズ推論がモデルの不適合に対して感受性が高いため、不確実性の評価と予測性能が損なわれるという、よく知られた問題に取り組む。
• ベイズ手法のモデリングの柔軟性を保ちつつ、分布のロバスト性を高める、一般用途で実行可能かつ計算的に容易なロバストなベイズ推論手法を開発する。
• BayesBagに基づくモデル-データ不一致インデックスを提案し、不適合の系統的評価と診断を可能にする。
• 線形回帰、スパースなロジスティック回帰、階層モデル、系統発生樹の再構築など、多様な統計モデルを通じて、BayesBagの理論的・実用的利点を検証する。
• モデルが不適合である状況において、標準的なベイズ推論や単独のブートストラップと比較して、BayesBagがロバスト性、再現性、予測精度の面で優れていることを示す。

提案手法

• データを復元抽出で繰り返し再サンプリングし、各ブートストラップ標本に対して事後分布を計算することで、事後分布にバギングを適用する。
• 個々のブートストラップ事後分布の平均としてBayesBag事後分布を構築し、データのばらつきをなめらかにすることで、モデルの不適合に対する感受性を低減する。
• 正則性条件の下でBayesBagの漸近的理論を発展させ、モデル不適合下でも一貫性とロバスト性の性質を示す。
• ブートストラップ事後分布のばらつきに基づくモデル-データ不一致インデックスを導入し、仮定されたモデルと観察されたデータの間の不一致度を定量化する。
• 不一致インデックスを用いて、完全に正しいモデルがなくても、モデル不適合を検出・診断可能にする。
• 特徴選択、パラメータ推定、階層モデル化などの多様な統計モデルを用いて、合成データおよび実世界のデータを用いて手法を実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 ブートストラップ事後分布をバギングすることで得られるBayesBagは、モデル不適合下において、標準的なベイズ手法よりもよりロバストな推論を提供できるか？
• RQ2 仮定されたモデルが誤りである場合、BayesBagは予測精度とパラメータ推定においてどのように機能するか？
• RQ3 ブートストラップ事後分布のばらつきを用いて、モデル-データ不一致を検出する信頼性の高いインデックスを構築できるか？
• RQ4 モデルが正しく適合している場合、BayesBagは優れた性能を維持するのか、それとも効率に損失が生じるか？
• RQ5 モデルが不適合である状況において、標準的なベイズ推論と比較して、BayesBagはモデル選択と再現性の面でどのように改善されるか？

主な発見

• 顕著なモデル不適合下では、BayesBagは標準的なベイズ事後分布よりも再現性の高い推論を提供し、データの摂動に対する感受性を低減する。
• 特に線形回帰とスパースなロジスティック回帰において、モデルが不適合である場合、BayesBagは標準的なベイズ推論よりも高い予測精度を達成する。
• モデル選択のタスクにおいて、モデルが不適合である場合、BayesBagは標準的なベイズ手法よりも正しいモデルをより頻繁に選択する。
• モデルが正しく適合している場合、BayesBagは標準的なベイズ推論と同等または優れたパラメータ推定と予測を提供し、わずかにより慎重なモデル選択を示す。
• 提案されたBayesBagに基づくモデル-データ不一致インデックスは、不適合を効果的に検出でき、モデル批判の実用的ツールを提供する。
• 線形回帰、スパースなロジスティック回帰、階層混合効果モデル、系統発生樹の再構築といった多様なモデルにおける実証的結果から、BayesBagのロバスト性と汎用性が確認される。