[論文レビュー] Fast expectation-maximization algorithms for spatial generalized linear mixed models

Yawen Guan, Murali Haran|arXiv (Cornell University)|Sep 12, 2019

Spatial and Panel Data Analysis参考文献 39被引用数 6

ひとこと要約

本稿では、高次元の空間的ランダム効果を伴う空間一般化線形混合モデル（SGLMM）における最尤推定の計算的非現実性に対処するため、計算効率の良い2つの期待最大化（EM）アルゴリズム—MCEMおよびLAEM—を提案する。射影に基づく次元削減を活用することで、大規模データセットに対してもスケーラブルに、高速かつ高精度なパラメータ推定と予測が可能となり、連続領域におけるガウス過程および離散領域におけるガウス Markov 隨伴確率場に対しても有効である。

ABSTRACT

Spatial generalized linear mixed models (SGLMMs) are popular and flexible models for non-Gaussian spatial data. They are useful for spatial interpolations as well as for fitting regression models that account for spatial dependence, and are commonly used in many disciplines such as epidemiology, atmospheric science, and sociology. Inference for SGLMMs is typically carried out under the Bayesian framework at least in part because computational issues make maximum likelihood estimation challenging, especially when high-dimensional spatial data are involved. Here we provide a computationally efficient projection-based maximum likelihood approach and two computationally efficient algorithms for routinely fitting SGLMMs. The two algorithms proposed are both variants of expectation maximization algorithm, using either Markov chain Monte Carlo or a Laplace approximation for the conditional expectation. Our methodology is general and applies to both discrete-domain (Gaussian Markov random field) as well as continuous-domain (Gaussian process) spatial models. We show, via simulation and real data applications, that our methods perform well both in terms of parameter estimation as well as prediction. Crucially, our methodology is computationally efficient and scales well with the size of the data and is applicable to problems where maximum likelihood estimation was previously infeasible.

研究の動機と目的

• 高次元で相関のある潜在空間効果を伴う空間一般化線形混合モデル（SGLMM）における最尤推定（MLE）の計算的非現実性に対処する。
• 大規模な空間データセットに対して遅くスケーリングが難しい既存のMCMCおよびモンテカルロ法の限界を克服する。
• モンテカルロ最尤法（MCML）よりも実装が容易で、連続的および離散的空間領域の両方に対応可能なEMベースのアルゴリズムを開発する。
• 射影に基づく次元削減を統合し、計算コストを低減しながらモデルの正確性を維持し、空間的交絡を処理する。
• 疫学、環境科学、農業などの分野におけるSGLMMの日常的かつ高速で信頼性の高いMLEを実現する。

提案手法

• データ駆動の固有成分から得られる低ランク基底を用いて、高次元の空間的ランダム効果を近似するための射影に基づく次元削減を適用する。
• 2つのEM変種、MCEM（マルコフ連鎖モンテカルロEM）およびLAEM（ラプラス近似EM）を開発し、両者とも射影された潜在変数構造を用いる。
• MCEMでは、現在のパラメータ推定値のもとでの完全データの対数尤度の条件付き期待値をMCMCを用いて計算する。
• LAEMでは、潜在変数の条件付き分布に対するラプラス近似をMCMCに代えて用い、計算コストを削減する。
• 射影された潜在変数モデルを用いることで、計算複雑度をO(n³)からO(mn²)に低減する。ここでm ≪ nは射影のランクである。
• パラメータ推定値および対数尤度の収束に基づく停止基準を実装し、安定性を向上させるために初期値をGLMのフィットから得る。

実験結果

リサーチクエスチョン

• RQ1 高次元で空間的に相関のある潜在変数を伴うSGLMMに対して、EMアルゴリズムを計算的に効率化できるか？
• RQ2 射影に基づく次元削減は、空間モデルにおける最尤推定のスケーラビリティとパフォーマンスをどのように向上させるか？
• RQ3 異なるデータサイズおよび空間構造において、MCEMとLAEMの収束速度、頑健性、正確性の観点での比較は？
• RQ4 パラメータ推定に偏りを生じさせない範囲で、低ランク近似（m）はどの程度空間的依存性を代表できるか？
• RQ5 これらのEMベースの手法は、MCMCベースのベイズ推定と同等またはそれ以上の速度を達成し、大規模な空間データセットにおいて信頼性の高い推定を可能にするか？

主な発見

• 提案されたMCEMおよびLAEMアルゴリズムは、最大50,000件の観測を含む大規模データセットに対しても、高速かつ高精度なパラメータ推定を達成する。
• n = 50,000の場合、m = 100のランクで空間的依存性を十分に捉えることができ、偏りは顕著でないことが示され、mがnに対して非線形的に増加することを示唆している。
• MCEMはLAEMよりも収束が早く、初期値の選択に対してより頑健であった。一方、LAEMは初期値がMLEから離れていると失敗した。
• LAEMはMCEMよりも計算が速かったが、初期値が悪い場合には特に不安定であった。
• 連続領域の設定では、従来のMCMCベースのベイズ推定よりも速度が優れており、離散領域の設定では同等の性能を示した。
• 実用的な利用を可能にするためのRパッケージprojSGLMMが公開されており、研究者が実世界の空間データ問題にこれらの手法を適用できる。