[論文レビュー] Integrated Nested Laplace Approximations (INLA)

Sara Martino, Andrea Riebler|arXiv (Cornell University)|Jul 2, 2019

Statistical Methods and Bayesian Inference参考文献 35被引用数 11

ひとこと要約

本論文は、Latent Gaussian Models (LGMs) における高速かつ正確な事後分布近似を可能にする、決定論的ベイズ推論手法であるIntegrated Nested Laplace Approximations (INLA) を紹介する。INLA は解析的近似と数値積分を組み合わせることで、MCMC よりも高速に推論を実行でき、特に精度行列がスパースでかつハイパーパrameter ベクトルが小さい（<15）モデルに特に有効である。この手法は、応用統計および空間モデリング分野での広範な利用を想定して R-INLA パッケージに実装されている。

ABSTRACT

This is a short description and basic introduction to the Integrated nested Laplace approximations (INLA) approach. INLA is a deterministic paradigm for Bayesian inference in latent Gaussian models (LGMs) introduced in Rue et al. (2009). INLA relies on a combination of analytical approximations and efficient numerical integration schemes to achieve highly accurate deterministic approximations to posterior quantities of interest. The main benefit of using INLA instead of Markov chain Monte Carlo (MCMC) techniques for LGMs is computational; INLA is fast even for large, complex models. Moreover, being a deterministic algorithm, INLA does not suffer from slow convergence and poor mixing. INLA is implemented in the R package R-INLA, which represents a user-friendly and versatile tool for doing Bayesian inference. R-INLA returns posterior marginals for all model parameters and the corresponding posterior summary information. Model choice criteria as well as predictive diagnostics are directly available. Here, we outline the theory behind INLA, present the R-INLA package and describe new developments of combining INLA with MCMC for models that are not possible to fit with R-INLA.

研究の動機と目的

• Latent Gaussian Models (LGMs) におけるベイズ推論のための、MCMC よりも計算効率の良い代替手法として INLA を提示すること。
• 収束が遅く混合が悪いなどの MCMC の限界を克服するため、決定論的フレームワークを導入すること。
• 複雑な階層モデルにおける潜在効果およびハイパーパrameter の周辺事後分布に対する正確な近似を可能にすること。
• スパースな精度行列の利用と効率的な数値積分を活用することで、大規模 LGM へのベイズ推論の適用範囲を拡大すること。
• R-INLA ソフトウェアエコシステム内に組み込まれた基準と予測チェックを通じて、モデル選択と診断を支援すること。

提案手法

• LGM における事後周辺分布の近似に、解析的近似と数値積分を組み合わせた手法を用いる。
• 潜在ガウス過程とハイパーパrameter の結合事後分布に対してラプラス近似を適用し、主に一変量周辺分布に焦点を当てる。
• 潜在フィールドにおける条件付き独立性（マークフ・プロパティ）を活用して、精度行列 Q(θ) のスパース性を確保する。
• 滑らかさ、ランダム効果、空間的・時系列的依存性をモデル化するため、ガウス・マルコフ・ランダムフィールド（GMRFs）を事前分布として採用する。
• 連続的空間フィールドをスパースな GMRF で近似する SPDE アプローチを導入し、マトゥルン共分散構造に対する効率的計算を可能にする。
• 近似のネスト構造を実装：まずハイパーパrameter θ の事後分布を数値積分で近似し、その結果を用いて潜在変数 x の事後分布を近似する。

実験結果

リサーチクエスチョン

• RQ1 決定論的手法が、MCMC よりも高速かつ正確に Latent Gaussian Models におけるベイズ推論を実現できるか？
• RQ2 階層モデルにおける高次元事後分布の積分の計算負荷をどのように軽減できるか？
• RQ3 INLA が LGM において MCMC と比較して信頼できる近似を提供する条件は何か？
• RQ4 SPDE アプローチをどのようにして INLA フレームワーク内で連続的空間過程を効率的にモデル化できるか？
• RQ5 どのような状況で INLA を MCMC と組み合わせることで、標準的な LGM を超えるモデルへの適用範囲を拡張できるか？

主な発見

• INLA は、MCMC よりも計算速度が桁違いに速く、Latent Gaussian Models に対して非常に正確な事後分布近似を提供する。
• ハイパーパrameter ベクトル θ が15次元未塔の場合に特に有効であり、これは数値積分の制約に起因する。
• GMRF 事前分布によって誘発される精度行列 Q(θ) のスパース性のおかげで、計算が効率的になり、大規模データセットへのスケーラビリティが実現される。
• SPDE アプローチにより、マトゥルン共分散フィールドの近似的な GMRF 表現が可能となり、連続的空間的依存性の効率的モデリングが可能になる。
• R-INLA は、多様な尤度関数、事前分布、ユーザー定義モデルをサポートしており、専用の拡張パッケージを多数備えることで、幅広い用途に適応可能である。
• INLA と MCMC を組み合わせることで、R-INLA が直接サポートしないモデルに対しても推論が可能となり、より複雑な階層構造への適用範囲が拡張される。