[論文レビュー] Implementing Approximate Bayesian Inference using Adaptive Quadrature: the aghq Package

Alex Stringer|arXiv (Cornell University)|Jan 12, 2021

Soil Geostatistics and Mapping参考文献 26被引用数 6

ひとこと要約

本稿では、自動微分とラプラス近似を活用したTMBインタフェースを介して、複雑で高次元なモデル—特に潜在ガウス過程モデルやゼロインflated空間回帰—における効率的な事後分布計算を可能にする、近似ベイズ推論用の aghq Rパッケージを紹介する。この手法は、既存のTMBユーザーに対して最小限のコード変更で正確な推論を実現し、感染症や天体統計的モデルを含む低次元および高次元問題において優れた性能を示す。

ABSTRACT

The aghq package for implementing approximate Bayesian inference using adaptive quadrature is introduced. The method and software are described, and use of the package in making approximate Bayesian inferences in several challenging low- and high-dimensional models is illustrated. Examples include an infectious disease model; an astrostatistical model for estimating the mass of the Milky Way; two examples in non-Gaussian model-based geostatistics including one incorporating zero-inflation which is not easily fit using other methods; and a model for zero-inflated, overdispersed count data. The aghq package is especially compatible with the popular TMB interface for automatic differentiation and Laplace approximation, and existing users of that software can make approximate Bayesian inferences with aghq using very little additional code. The aghq package is available from CRAN and complete code for all examples in this paper can be found at https://github.com/awstringer1/aghq-software-paper-code.

研究の動機と目的

• 複雑な尤度関数と高次元性を特徴とするモデルに特化した、近似ベイズ推論用の使いやすいRパッケージの開発。
• 既存のTMBベースの推論を拡張し、ラプラス近似にとどまらず、AGHQを用いた完全な事後分布近似を可能にする。
• INLA やMCMCでは取り扱いにくい、ゼロインフレートされた地理統計的および過分散カウントモデルなどの挑戦的モデルに対処する。
• 正確な事後分布計算が不可能なモデルに対して、スケーラブルで効率的なMCMCや他の手法の代替手段を提供する。

提案手法

• 適応的ガウス＝エアミート積分（AGHQ）を用いて、事後モードと曲率に基づき、積分ノードと重みをシフト・スケーリングすることで、周辺尤度を近似する。
• TMBパッケージと統合され、自動微分とラプラス近似のインfraを再利用することで、非正規化事後密度およびその勾配を効率的に計算する。
• aghqパッケージは、TMBの MakeADFun を使用して、ラプラス近似下での対数周辺尤度を返すテンプレート関数を生成し、これを aghq::marginal_laplace_tmb に渡してAGHQによる精緻化を実行する。
• 高次元モデルでは、増加する積分点数を用いた複数回のAGHQ評価により、周辺ラプラス近似が回復され、計算コストを著しく増加させることなく精度が向上する。
• 潜在ガウス過程、ゼロインフレート、過分散をモデル化するため、尤度を点質量と二項分布成分の混合として扱うことで、これらのモデルをサポートする。
• 既存のTMBコードとの後方互換性を考慮した実装となっており、近似ベイズ推論を追加するために最小限の変更で済む。

実験結果

リサーチクエスチョン

• RQ1 MCMCが計算的に非現実的となる高次元で非ガウス分布のモデルにおいて、適応的積分が周辺尤度を効果的に近似できるか。
• RQ2 複雑な空間的およびカウントモデルにおいて、AGHQに基づく推論はMCMC、INLA、MCMLと比較して、精度と計算効率の面でどの程度優れているか。
• RQ3 aghqパッケージは、TMBベースの推論の範囲をラプラス近似にとどまらず、完全なベイズ的事後分布推論へと拡張できるか。
• RQ4 AGHQは、INLA や標準的なGLMMと互換性のないゼロインフレートおよび過分散カウントデータモデルを処理できるか。
• RQ5 同等の事後分布カバレッジと点推定を達成する際、AGHQの計算コストはMCMCに比べてどの程度か。

主な発見

• ロア・ロア感染症モデルでは、AGHQが $\rho$（空間的スケール）の事後区間を45.4～87.5 kmと推定し、MCMC（48.4～95.8 km）とよく一致した。計算時間は195秒（MCMCの2520秒と比較して）顕著に短縮された。
• ゼロインフレートされた地理統計的二項分布モデルでは、AGHQが伝播確率（$p$）と適応性確率（$\rho$）の両方を正確に推定でき、非潜在ガウス構造のためINLAでは不可能であった。
• MCMLでは36.2秒、INLAでは42.7秒を要したが、AGHQは195秒で完了し、精度と速度の良好なトレードオフを実現した。
• 複数の積分点数を用いたAGHQにより、周辺ラプラス近似が回復され、高次元潜在ガウス過程モデルにおけるスケーラブルな推論が可能になった。
• ミルキーウェイ質量モデルや過分散カウントデータに対して、他の手法が失敗したり、広範なチューニングを要したりする状況でも、AGHQは正確な事後分布推定を達成した。
• TMBとの統合により、AGHQは最小限のコード変更で適用可能となり、複雑な階層的モデルにおける迅速なプロトタイピングと推論を可能にした。