[論文レビュー] Estimating the marginal likelihood with Integrated nested Laplace approximation (INLA)

Aliaksandr Hubin, Geir Storvik|arXiv (Cornell University)|Nov 4, 2016

Statistical Methods and Bayesian Inference参考文献 10被引用数 17

ひとこと要約

この論文は、潜在ガウス構造を有するベイズモデルにおける周辺尤度の推定に、統合ネストラスティン・ラプラース近似（INLA）を評価し、ラプラス近似、チブ法、調和平均推定器といった既存手法と比較している。INLAは、線形、ロジスティック、ポアソン混合効果モデルを含む多様なモデルにおいて、高速かつ高精度な近似を提供しており、特にデフォルト設定を使用した場合、基準手法と強い一致を示している。

ABSTRACT

The marginal likelihood is a well established model selection criterion in Bayesian statistics. It also allows to efficiently calculate the marginal posterior model probabilities that can be used for Bayesian model averaging of quantities of interest. For many complex models, including latent modeling approaches, marginal likelihoods are however difficult to compute. One recent promising approach for approximating the marginal likelihood is Integrated Nested Laplace Approximation (INLA), design for models with latent Gaussian structures. In this study we compare the approximations obtained with INLA to some alternative approaches on a number of examples of different complexity. In particular we address a simple linear latent model, a Bayesian linear regression model, logistic Bayesian regression models with probit and logit links, and a Poisson longitudinal generalized linear mixed model.

研究の動機と目的

• 潜在ガウス構造を有する複雑なベイズモデルにおける周辺尤度推定のための統合ネストラスティン・ラプラース近似（INLA）の正確性と信頼性を評価すること。
• さまざまなモデルタイプにおいて、ラプラス近似、チブおよびジェリアゾフの手法、調和平均推定器、ネストドサブスティングといった既存手法と比較して、INLAの性能を評価すること。
• ベイズモデル選択およびモデル平均化の文脈で、INLAのデフォルト設定が十分に正確な推定を提供するかどうかを評価すること。
• MCMCに基づく手法および決定的近似手法と比較して、INLAの計算効率を調査すること。

提案手法

• INLAは、ハイパーパrameter θ についての統合を用いて周辺尤度を近似し、θ が与えられたときの潜在変数 η の条件付き後確率分布に対してガウス近似を適用する。
• この手法は、η が θ を与えられたときの後確率の最頻値と、関連する関数のラプラス近似を用いて、MCMCサンプリングを必要とせずに高速に計算を実行する。
• 各モデルについて、INLAは周辺尤度を ∫ p(y|θ,η,M) / π̃_G(η|y,θ,M) dθ として計算し、η* = mode(η|y,θ,M) で評価する。
• 本研究では、4つのモデルタイプ（線形潜在モデル、ベイズ線形回帰、プロビット/ロジットリンクを用いたロジスティック回帰、ポアソン縦断的GLMM）に対して、実データおよびシミュレートデータを用いる。
• 標準的な指標（対数周辺尤度値、計算時間、収束行動）を用いて比較を行う。
• 感度分析を通じてチューニングパラメータを調整し、頑健性および精度向上の可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるモデルタイプにおいて、Chib法やラプラス近似といった既存手法と比較して、INLAの周辺尤度推定の正確性はどの程度か？
• RQ2 デフォルト設定を使用した場合、INLAは高い正確性を維持するのか。それとも、信頼性のあるモデル選択のためにはパラメータチューニングと感度チェックが必要なのか？
• RQ3 複雑なモデルにおいて、INLAの計算効率は、調和平均推定器やネストドサブスティングといったMCMCベースの手法と比較してどうか？
• RQ4 潜在ガウス構造を有するモデルにおいて、INLAは、特にランダム効果が存在する場合でも、周辺尤度に対して安定的かつ正確な推定を提供するか？
• RQ5 真の周辺尤度が解析的に求められない状況において、INLAはベイズモデル平均化やモデル選択に信頼できるものと見なせるか？

主な発見

• INLAは、テストされたすべてのモデルタイプにおいて、チブおよびジェリアゾフの手法やラプラス近似といった基準手法と高い一貫性を示す周辺尤度推定値を生成した。
• ポアソン混合効果モデルでは、INLAによる対数周辺尤度は -915.61 であり、チブおよびジェリアゾフの基準推定値 -915.49 や、カーネル密度推定による代替推定値 -915.23 と非常に近い値であった。
• 調和平均推定器は顕著にバイアスが大きく（例：-279.47 対 -257.23）、高い変動性と信頼性の欠如を示した。
• INLAは、ラプラス近似と同等の計算時間を達成しており、ポアソン混合モデルでは約1.85秒であり、MCMCベースの代替手法に比べて極めて高速であることが示された。
• すべての例において、INLAのデフォルト設定が信頼できる推定値を提供しており、実用的なベイズモデル選択においてはチューニングがしばしば不要であることが示唆された。
• 感度分析の結果、チューニングパラメータの調整によりさらに精度を向上させられることが分かったが、デフォルト設定ですでに多くの用途において十分な正確性を有していた。