[論文レビュー] Robust and reproducible model selection using bagged posteriors

Jonathan H. Huggins, Jeffrey W. Miller|arXiv (Cornell University)|Jul 24, 2020

Bayesian Methods and Mixture Models参考文献 20被引用数 4

ひとこと要約

本稿では、バギングされたデータセット上の事後モデル確率の平均化により、ベイジアンモデル選択を改善する、頑健なモデル選択手法BayesBagを提案する。モデルが正しく指定されていない状況下でも、再現性と精度が向上するが、正しく指定されている場合にはわずかにより慎重な選択を行う。

ABSTRACT

Bayesian model selection is premised on the assumption that the data are
 generated from one of the postulated models, however, in many applications, all of
 these models are incorrect. When two or more models provide a nearly equally good
 t to the data, Bayesian model selection can be highly unstable, potentially leading
 to self-contradictory ndings. In this paper, we explore using bagging on the posterior
 distribution (\\BayesBag") when performing model selection { that is, averaging the
 posterior model probabilities over many bootstrapped datasets. We provide theoreti-
 cal results characterizing the asymptotic behavior of the standard posterior and the
 BayesBag posterior under misspeci cation, in the model selection setting. We empir-
 ically assess the BayesBag approach on synthetic and real-world data in (i) feature
 selection for linear regression and (ii) phylogenetic tree reconstruction. Our theory
 and experiments show that in the presence of misspeci cation, BayesBag provides
 (a) greater reproducibility and (b) greater accuracy in selecting the correct model,
 compared to the standard Bayesian posterior; on the other hand, under correct speci-
 cation, BayesBag is slightly more conservative than the standard posterior. Overall,
 our results demonstrate that BayesBag provides an easy-to-use and widely applicable
 approach that improves upon standard Bayesian model selection by making it more
 stable and reproducible.

研究の動機と目的

• 複数のモデルがデータをほぼ同様に適合する場合に、標準的なベイジアンモデル選択が不安定になる問題に対処すること。
• モデルが不適合である状況下でも、モデル選択の再現性を向上させること。
• 安定性を損なわず、精度を維持する実用的で広く適用可能な手法を開発すること。
• モデル不適合下での標準的およびバギング事後分布の漸近的挙動を理論的に同定すること。
• 線形回帰と系統樹選択の両分野において、BayesBagの実証的妥当性を検証すること。

提案手法

• 元のデータから複数のブートストラップデータセットを生成し、それらに基づいて事後分布にバギングを適用する。
• 各ブートストラップデータセットに対して、事後モデル確率を計算する。
• すべてのブートストラップデータセットにおける事後モデル確率を平均化し、BayesBag事後分布を構築する。
• 理論的分析により、モデル不適合下での標準的およびBayesBag事後分布の漸近的挙動を導出する。
• 線形回帰と系統樹選択の両分野において、合成データおよび実世界のデータを用いてBayesBagを実証的に評価する。
• 最終的なモデル選択基準として、平均化された事後確率を用いる。

実験結果

リサーチクエスチョン

• RQ1 モデル不適合下で、標準的ベイジアン事後分布はモデル選択においてどのように振る舞うか？
• RQ2 事後分布にバギングを適用することで、モデル選択結果の再現性は向上するか？
• RQ3 すべての候補モデルが不適合である状況下で、BayesBagは正しいモデルの選択精度を向上させるか？
• RQ4 安定性および性能の観点から、BayesBagは標準的ベイジアンモデル選択と比べてどのように異なるか？
• RQ5 モデル不適合下で、BayesBag事後分布の理論的漸近的挙動はいかなるものか？

主な発見

• モデルが不適合である場合、BayesBagはモデル選択結果の再現性を顕著に向上させる。
• 標準的ベイジアン事後分布と比較して、モデル不適合下でもBayesBagは正しいモデルの選択精度を高める。
• モデルが正しく指定されている場合には、BayesBagは標準的事後分布よりもわずかにより慎重な選択を行う。
• 理論的分析により、BayesBagがモデル不適合下で事後モデル確率を安定化させることを確認した。
• 特徴選択および系統樹再構築の実証的結果から、安定性および精度の両面で一貫した改善が示された。
• BayesBagは、標準的ベイジアンモデル選択に対する実用的で、容易に実装可能な改善手法を提供する。