[论文解读] Fast expectation-maximization algorithms for spatial generalized linear mixed models

Yawen Guan, Murali Haran|arXiv (Cornell University)|Sep 12, 2019

Spatial and Panel Data Analysis参考文献 39被引用 6

一句话总结

本文提出两种计算高效的期望最大化（EM）算法——MCEM 和 LAEM——用于在具有高维空间随机效应的空间广义线性混合模型（SGLMM）中进行最大似然推断。通过利用基于投影的降维方法，该方法可有效扩展至大规模数据集，实现在连续域高斯过程和离散域高斯马尔可夫随机场情况下的快速且精确的参数估计与预测。

ABSTRACT

Spatial generalized linear mixed models (SGLMMs) are popular and flexible models for non-Gaussian spatial data. They are useful for spatial interpolations as well as for fitting regression models that account for spatial dependence, and are commonly used in many disciplines such as epidemiology, atmospheric science, and sociology. Inference for SGLMMs is typically carried out under the Bayesian framework at least in part because computational issues make maximum likelihood estimation challenging, especially when high-dimensional spatial data are involved. Here we provide a computationally efficient projection-based maximum likelihood approach and two computationally efficient algorithms for routinely fitting SGLMMs. The two algorithms proposed are both variants of expectation maximization algorithm, using either Markov chain Monte Carlo or a Laplace approximation for the conditional expectation. Our methodology is general and applies to both discrete-domain (Gaussian Markov random field) as well as continuous-domain (Gaussian process) spatial models. We show, via simulation and real data applications, that our methods perform well both in terms of parameter estimation as well as prediction. Crucially, our methodology is computationally efficient and scales well with the size of the data and is applicable to problems where maximum likelihood estimation was previously infeasible.

研究动机与目标

• 解决在具有高维、相关潜空间效应的空间广义线性混合模型（SGLMM）中最大似估计（MLE）计算不可行的问题。
• 克服现有 MCMC 和蒙特卡洛方法在大规模空间数据集上运行缓慢且难以扩展的局限性。
• 开发基于 EM 的算法，相较于蒙特卡洛最大似然（MCML）方法更易于实现，且适用于连续和离散空间域。
• 结合基于投影的降维方法，降低计算成本，同时保持模型精度并处理空间混杂问题。
• 在流行病学、环境科学和农业等应用中，实现 SGLMM 的常规、快速且可靠的 MLE。

提出的方法

• 应用基于投影的降维方法，利用数据驱动的特征分量导出的低秩基来近似高维空间随机效应。
• 提出两种 EM 变体：MCEM（马氏链蒙特卡洛 EM）和 LAEM（拉普拉斯近似 EM），二者均基于投影的潜变量结构。
• 在 MCEM 中，使用 MCMC 计算给定当前参数估计下完整数据对数似然的条件期望。
• 在 LAEM 中，用潜变量条件分布的拉普拉斯近似替代 MCMC，从而降低计算成本。
• 利用投影潜变量模型将计算复杂度从 O(n³) 降低至 O(mn²)，其中 m ≪ n 为投影的秩。
• 基于参数估计和对数似然的收敛性设置停止准则，初始值通过拟合 GLM 获得，以提高稳定性。

实验结果

研究问题

• RQ1 能否使 EM 算法在具有高维、空间相关潜变量的 SGLMM 中实现计算高效？
• RQ2 基于投影的降维方法在多大程度上提升了空间模型中最大似然推断的可扩展性和性能？
• RQ3 在不同数据规模和空间结构下，MCEM 和 LAEM 算法在收敛速度、鲁棒性和准确性方面有何差异？
• RQ4 在不引入参数估计偏差的前提下，低秩近似（m）在多大程度上可有效表示空间依赖性？
• RQ5 这些基于 EM 的方法是否能在保持大规模空间数据集可靠推断的前提下，实现或超越基于 MCMC 的贝叶斯推断的速度？

主要发现

• 所提出的 MCEM 和 LAEM 算法在 SGLMM 中实现了快速且精确的参数估计，即使在包含最多 50,000 个观测值的大数据集上也表现良好。
• 当 n = 50,000 时，m = 100 的秩已足够捕捉空间依赖性且未引入显著偏差，表明 m 随 n 增长呈次线性关系。
• MCEM 算法在收敛速度和对初始值的鲁棒性方面优于 LAEM，后者在初始值远离 MLE 时出现失败。
• LAEM 在计算上比 MCEM 更快，但稳定性较差，尤其在初始值不佳时。
• 在连续域设置下，该算法在速度上优于传统基于 MCMC 的贝叶斯推断；在离散域设置下，性能相当。
• R 包 projSGLMM 已发布，可供实际应用，使研究人员能够将这些方法应用于真实世界的空间数据问题。