[論文レビュー] Bayesian computational methods

Christian P. Robert|arXiv (Cornell University)|Feb 13, 2010

Bayesian Methods and Mixture Models参考文献 36被引用数 5

ひとこと要約

本論文は、MCMC、重要度サンプリング、逆遷移MCMCといった現代の計算手法に焦点を当て、積分が解けない場合や複雑なモデルに対しても実用的なベイズ推論を可能にする、ベイジアン計算手法の包括的概説を提供している。計算の進歩により、理論的には魅力的だが計算的に実行不可能であったベイズ統計が、統計的モデリングやモデル選択の分野で広く応用可能なツールに進化したことが強調されている。

ABSTRACT

In this chapter, we will first present the most standard computational challenges met in Bayesian Statistics, focussing primarily on mixture estimation and on model choice issues, and then relate these problems with computational solutions. Of course, this chapter is only a terse introduction to the problems and solutions related to Bayesian computations. For more complete references, see Robert and Casella (2004, 2009), or Marin and Robert (2007), among others. We also restrain from providing an introduction to Bayesian Statistics per se and for comprehensive coverage, address the reader to Robert (2007), (again) among others.

研究の動機と目的

• ベイズ推論の歴史的計算困難性を、現代の計算ソリューションを調査することで解決すること。
• シミュレーション手法の進歩が、尤度が解けないか高次元パラメータ空間を持つ複雑なモデルへのベイズ手法の適用を可能にした仕組みを説明すること。
• 点推定、仮説検定、モデル選択といった主要なベイズタスクを支援する計算技術のガイドを提供すること。
• 計算ツールが共役事前分布や単純なモデルを超えて、ベイジアンモデリングの適用範囲を拡大する役割を強調すること。
• 研究者が現実の応用において効率的な計算アルゴリズムを理解し、実装できるように支援すること。

提案手法

• 解析的積分が困難な場合に、後方分布からのシミュレーションのためにマルコフ連鎖モンテカルロ（MCMC）手法を用いる。
• 特に高次元または複雑なモデルにおいて、後方分布下での期待値推定に適切な事前分布を用いた重要度サンプリングを適用する。
• パラメータ数が異なるモデル間の比較が可能な、次元が変化する問題に対して、逆遷移MCMCを用いる。
• 十分統計量を活用して分散を低減することで、モンテカルロ効率を向上させるラオ＝ブラックウェルド推定量を導入する。
• 収束性と混合性の向上を図るために、混合分布および適応的スキームを用いたMCMCアルゴリズムの提案。
• 尤度が解けないか制約があるモデルを扱うために、補助変数法および補完スキームの使用を議論する。

実験結果

リサーチクエスチョン

• RQ1 尤度が解けないか複雑な制約があるモデルに対し、どのようにベイズ推論を計算的に実行可能にするか？
• RQ2 高次元または非共役モデルにおいて、効率的な後方分布計算を可能にする計算技術は何か？
• RQ3 モデルの次元が異なる場合に、効果的にモデル比較と選択を行うにはどうすればよいか？
• RQ4 重要度サンプリングとMCMCが、後方期待値や周辺尤度の近似に果たす役割は何か？
• RQ5 ラオ＝ブラックウェルド化のような分散低減技術により、計算効率をどのように向上させられるか？

主な発見

• MCMC手法のおかげで、複雑なモデルに対してもベイズ推論が計算的に実行可能となり、ベイズ統計が理論的枠組みから実用的ツールへと変貌を遂げた。
• 逆遷移MCMCにより次元が変化するサンプリングが可能になり、異なるパラメータ数を持つモデル間でのベイズモデル比較が可能になった。
• 適切な事前分布を用いた重要度サンプリングは、後方期待値の一貫した推定を可能にするが、提案分布の品質に依存する。
• ラオ＝ブラックウェルド化により、十分統計量を活用してモンテカルロ分散を低減し、計算コストをほとんど増やさずに推定精度を向上させることができる。
• 適応的および混合型の提案分布は、特に高次元またはマルチモーダルな後方分布において、MCMCの収束性と混合性を向上させる。
• 共役事前分布の使用により、正規分布・正規分布のケースのような単純なモデルでは閉形式の後方分布が得られるが、ポリ- t分布のようなより複雑な事前分布ではそのような解法は成立しなくなる。