[論文レビュー] bridgesampling: An R Package for Estimating Normalizing Constants

Quentin F. Gronau, Henrik Singmann+1 more|arXiv (Cornell University)|Oct 23, 2017

Statistical Methods and Bayesian Inference被引用数 11

ひとこと要約

この論文は、ブリッジサンプリング——精度が高く汎用性のある手法——を用いて、ベイズ的モデル比較における正規化定数（例えば周辺尤度）を推定する、bridgesampling Rパッケージを紹介する。この手法により、Stanで実装されたモデルに対して、正確で自動化されたベイズ因子の推定が可能となり、実データを用いた事例において、カメの生存データに対する階層的GLMMのベイズ因子BF₀₁ = 1.273を再現する成功例が示された。

ABSTRACT

Statistical procedures such as Bayes factor model selection and Bayesian model averaging require the computation of normalizing constants (e.g., marginal likelihoods). These normalizing constants are notoriously difficult to obtain, as they usually involve high-dimensional integrals that cannot be solved analytically. Here we introduce an R package that uses bridge sampling (Meng & Wong, 1996; Meng & Schilling, 2002) to estimate normalizing constants in a generic and easy-to-use fashion. For models implemented in Stan, the estimation procedure is automatic. We illustrate the functionality of the package with three examples.

研究の動機と目的

• 高次元モデルにおいて解析的解が不適切となる状況においても、ベイズ推論における正規化定数を推定するという長年の課題に取り組む。
• ブリッジサンプリングを用いて周辺尤度を自動推定する、使いやすく汎用性のあるRパッケージを提供し、専門外のユーザーが利用する障壁を低減する。
• 階層的および混合効果モデルのような複雑なモデルにおいて、正確かつ効率的なベイズ因子および事後モデル確率の計算を可能にする。
• 実世界のデータを用いて、文献に掲載された結果を再現することで、この手法の信頼性と正確性を示す。

提案手法

• パッケージはブリッジサンプリングを実装しており、これは、提案密度上での未正規化事後密度の重み付き平均を構築することで、正規化定数を推定するモンテカルロ法である。
• ブリッジサンプリングの恒等式を用い、ターゲット密度に近い最適な重要度サンプリング分布を選択することで、推定子の分散を最小化する。
• Stanモデルの場合、パッケージは自動的に事後サンプルを抽出し、重要度密度の手動導出を必要とせずにブリッジサンプリング推定子を適用する。
• この手法は、汎用モデルおよびStanで実装されたモデルをサポートし、rstanインタフェースを通じてシームレスに統合される。
• アルゴリズムは高次元パrameter空間でも安定しており、単純なモンテカルロ法や重要度サンプリングと比較して、精度と安定性の面で優れている。
• log marginal likelihoodを計算するためのbridge_samplerなどの関数を提供し、ベイズ因子を用いたモデル比較をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ブリッジサンプリングは、Rパッケージとして自動化可能であり、ベイズモデルの正規化定数を推定するのに有効であるか？
• RQ2 bridgesamplingパッケージは、階層的モデルに対して、既存のベイズ因子の結果をどの程度正確に再現できるか？
• RQ3 高次元設定において、ブリッジサンプリングは重要度サンプリングや調和平均推定子といった代替手法をどの程度上回るか？
• RQ4 非専門家ユーザーが、複雑なモデルのモデル比較において、このパッケージを「ブラックボックス」として使用できるか？

主な発見

• bridgesamplingパッケージは、カメの生存データに対するプロビット混合効果モデルにおいて、既存のベイズ因子BF₀₁ = 1.273を正確に再現し、その正確性を確認した。
• ブリッジサンプリングは、他の手法がしばしば失敗するか、高い分散を生じる高次元の階層的モデルでも、周辺尤度の安定的かつ高精度な推定を可能にする。
• 比較的少ない事後サンプル数で高い精度が得られるため、実用的なベイズ的モデル比較において計算効率が非常に高い。
• Stanとの統合により、最小限のユーザー入力で周辺尤度の完全自動推定が可能となり、ベイズ的モデル比較へのアクセス障壁が著しく低下した。
• 特に複雑なモデルにおいて、精度と頑健性の面で、単純な推定子（ナイーブモンテカルロ法や重要度サンプリング）を上回る性能を示した。