[論文レビュー] Computing Bayes: Bayesian Computation from 1763 to the 21st Century

Gael M. Martin, David T. Frazier+1 more|arXiv (Cornell University)|Apr 14, 2020

Gaussian Processes and Bayesian Inference参考文献 268被引用数 21

ひとこと要約

この論文は、トーマス・ベイズの1763年の論文から21世紀の現代的手法に至るまで、ベイズ計算の包括的で歴史的・技術的なレビューを提供する。MCMC や変分ベイズ推論、ABC といったあらゆる計算手法を、事後期待値推定という統一的な枠組みの中で提示し、それらの進化、相互関係、およびスケーラビリティとモデル不適合に関する現在の課題を強調している。

ABSTRACT

The Bayesian statistical paradigm uses the language of probability to express uncertainty about the phenomena that generate observed data. Probability distributions thus characterize Bayesian analysis, with the rules of probability used to transform prior probability distributions for all unknowns - parameters, latent variables, models - into posterior distributions, subsequent to the observation of data. Conducting Bayesian analysis requires the evaluation of integrals in which these probability distributions appear. Bayesian computation is all about evaluating such integrals in the typical case where no analytical solution exists. This paper takes the reader on a chronological tour of Bayesian computation over the past two and a half centuries. Beginning with the one-dimensional integral first confronted by Bayes in 1763, through to recent problems in which the unknowns number in the millions, we place all computational problems into a common framework, and describe all computational methods using a common notation. The aim is to help new researchers in particular - and more generally those interested in adopting a Bayesian approach to empirical work - make sense of the plethora of computational techniques that are now on offer; understand when and why different methods are useful; and see the links that do exist, between them all.

研究の動機と目的

• ベイズ計算の歴史的・概念的概要を、ベイズの1763年の原問題から、高次元推論に至るまで提示すること。
• 決定的・シミュレーションベース・近似手法といった多様な計算手法を、事後期待値評価という共通の数学的枠組みの下に統合すること。
• 新規研究者が現代のベイズ計算ツールの長所・短所、および適切な使用状況を理解するのを支援すること。
• スケーラビリティとモデル不適合に関する新たな課題を強調し、今後の発展に向けた主要な研究方向を特定すること。

提案手法

• ベイズ推論を、p(θ|y) ∝ p(y|θ)p(θ) が正規化定数を除いてのみ既知であるときの、E(g(θ)|y) = ∫Θ g(θ)p(θ|y)dθ としての事後期待値の評価として定式化する。
• 計算手法を3つのカテゴリーに分類する：決定的統合、シミュレーションベース手法（例：MCMC、重要度サンプリング）、近似手法（例：ラプラス近似、変分ベイズ推論、ABC）。
• 異なる手法間の構造的類似性を強調し、比較を容易にするために、すべての手法で一貫した表記を用いる。特に、古典的手法と現代的手法の比較に注目する。
• モデル比較のための主要な量である周辺尤度 p(y|M) = ∫Θ p(y|θ,M)p(θ|M)dθ の役割を分析し、事前分布下での事後期待値として計算されることを示す。
• 大規模データセットや高次元モデルへの対応を目的としたスケーラブル計算の最近の進展をレビューし、モデル不適合が計算的影響を及ぼす点を議論する。
• 尤度に基づかない推論への拡張、例えば損失関数を用いた一般化事後分布（例：ブートストラップに基づく事後分布、一般化変分ベイズ推論）や、モーメントに基づく多様体上でのMCMCを検討する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ推論の計算手法は、1763年のベイズの原問題から、現代の高次元問題に至るまで、どのように進化してきたか？
• RQ2 多様なベイズ計算手法の背後にある統一的原則は何か。それらを体系的に比較するにはどうすればよいか？
• RQ3 現代のデータサイズや次元にスケーリングする際の計算的課題とその解決策は何か？
• RQ4 モデル不適合と尤度に基づかない推論は、ベイズ計算アルゴリズムの設計と性能にどのように影響を与えるか？
• RQ5 尤度の代わりに損失関数を用いることで、ベイズ更新にどのような影響が生じるか。計算効率と妥当性に及ぼす影響は何か？

主な発見

• ベイズ計算の核心的課題は、特に事後期待値のような評価が困難な積分を扱うことにあり、これは推論、予測、意思決定理論、モデル選択の中心的役割を果たす。
• 単純なケース（例：共役事前分布）では解析的解が得られるが、多くの現実の問題では正規化定数が評価不能なため、数値的近似が不可欠となる。
• MCMC や変分ベイズ推論、ABC といった現代の計算手法は、すべて E(g(θ)|y) を近似することを目的としており、精度・速度・スケーラビリティのトレードオフが異なる。
• スケーラビリティは現在の研究の中心的テーマとなっており、Bayes Comp 2020 の129件の発表要旨のうち16件が明示的にスケーラビリティに言及しており、多くの研究が大規模データセットや高次元モデルをターゲットとしている。
• モデル不適合は計算手法に顕著な影響を与える：不適合下ではABCは有効な信用区間を生成できない可能性があり、VBですらKL情報量を最小化するパラメータに集中する可能性がある。
• 損失関数に基づく推論を扱う新しい計算パラダイム（例：一般化変分ベイズ推論、モーメントに基づく多様体上でのMCMC）が登場しており、ロバストなベイズ分析のための計算設計に根本的な転換が起きつつある。