[論文レビュー] A Parsimonious Tour of Bayesian Model Uncertainty

Pierre‐Alexandre Mattei|arXiv (Cornell University)|Feb 14, 2019

Gaussian Processes and Bayesian Inference参考文献 147被引用数 7

ひとこと要約

本稿は、非漸近的予測性能とペナルティ付き尤度法との関連を強調しながら、ベイジアンモデル不確実性の統一的で現代的な概要を提示する。高次元・特異的・尤度なしモデルにおける計算手法の進展をレビューし、複雑なデータ設定におけるモデル選択および平均化の原則的かつ実用的なアプローチを提唱する。

ABSTRACT

Modern statistical software and machine learning libraries are enabling semi-automated statistical inference. Within this context, it appears easier and easier to try and fit many models to the data at hand, reversing thereby the Fisherian way of conducting science by collecting data after the scientific hypothesis (and hence the model) has been determined. The renewed goal of the statistician becomes to help the practitioner choose within such large and heterogeneous families of models, a task known as model selection. The Bayesian paradigm offers a systematized way of assessing this problem. This approach, launched by Harold Jeffreys in his 1935 book Theory of Probability, has witnessed a remarkable evolution in the last decades, that has brought about several new theoretical and methodological advances. Some of these recent developments are the focus of this survey, which tries to present a unifying perspective on work carried out by different communities. In particular, we focus on non-asymptotic out-of-sample performance of Bayesian model selection and averaging techniques, and draw connections with penalized maximum likelihood. We also describe recent extensions to wider classes of probabilistic frameworks including high-dimensional, unidentifiable, or likelihood-free models.

研究の動機と目的

• 多様な統計的コミュニティおよび現代のデータ課題にわたるベイジアンモデル不確実性の統一的視点を提供すること。
• 仮説が形成される前にデータ収集が行われる状況において、体系的なモデル比較と選択の増大するニーズに対処すること。
• ベイジアンモデル選択における理論的進展と、複雑なモデルに対する実用的計算手法を橋渡しすること。
• 有限標本領域におけるベイジアンモデル平均化とペナルティ付き尤度アプローチとの間の関連を強調すること。
• 高次元・同定不能・尤度なしモデルへの最近の拡張を議論し、現代の機械学習および統計学における適用可能性を拡大すること。

提案手法

• ベイズの定理を用いて、モデルとそのパラメータの両方の不確実性を、連合事前分布の指定により一貫して取り扱う。
• 周辺尤度の計算とモデル平均化を適用し、アウトオブサンプル予測性能を評価する。
• 複雑なモデルにおける後部確率分布の近似に、マルコフ連鎖モンテカルロ法（MCMC）と変分ベイズ推論を用いる。
• 高次元設定におけるスケーラブルなベイジアンモデル選択を可能にするために、連続的リラクゼーション（例：ARDに類似）を導入する。
• 計算的に効率的なモデル比較のため、周辺尤度の非漸近的近似としてEvidence Lower Bound（ELBO）を用いる。
• 漸近的近似（例：ラプラス近似）とその限界をレビューし、精度評価のための上界および下界の証拠境界を用いたELBOベースの境界を好む。

実験結果

リサーチクエスチョン

• RQ1 現代のデータサイエンスにおいて、大規模で多様なモデル族から系統的に比較・選択するため、ベイジアンモデル不確実性をどのように適用できるか。
• RQ2 有限標本領域におけるベイジアンモデル平均化および選択の理論的・実用的利点は、頻度主義的ペナルティ付き尤度法と比較してどのような点にあるか。
• RQ3 MCMC、変分ベイズ推論、ELBOベースの近似といった計算手法は、高次元・特異的・尤度なしモデルにどのように適合させられるか。
• RQ4 連続的リラクゼーション（例：ARD）は、部分族内での正確なベイジアンモデル選択を保持しつつ、スケーラビリティをどのように向上させるか。
• RQ5 誤ったモデルに過信しないようにするため、ベイジアンモデル不確実性はどのようにモデル批判と組み合わせられるか。

主な発見

• ベイジアンモデル不確実性は、データ収集が仮説の形成より先にされる状況において、モデル比較および選択の原則的フレームワークを提供する。
• ELBOは、周辺尤度の信頼性の高い非漸近的近似を提供し、小標本状況ではラプラス型近似を上回る性能を示す。
• ARDや部分族最適化における連続的リラクゼーションは、関連するモデルの縮小された集合における正確な推論を保ちつつ、スケーラブルなベイジアンモデル選択を可能にする。
• ベイジアンモデル平均化とペナルティ付き尤度法との間の関連が形式化され、ベイジアン手法が有限標本領域で同様またはより優れた性能を達成できることを示している。
• 最近の進展により、ベイジアンモデル不確実性は高次元・同定不能・尤度なしモデルへと拡張され、現代の統計的学習における適用範囲が広がった。
• 強みがある一方で、このフレームワークには基礎的および技術的批判も存在するため、信頼性の高い推論のためにはモデル不確実性とモデル批判を組み合わせる必要がある。